СПОСОБЫ И СИСТЕМЫ СИНХРОНИЗАЦИИ И ПЕРЕКЛЮЧЕНИЯ ДЛЯ СИСТЕМЫ АДАПТИВНОГО ЗВУКА Российский патент 2015 года по МПК H04N21/43 H04N21/233 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/504005, поданной 1 июля 2011 г., и предварительной заявки на патент США №61/636456, поданной 20 апреля 2012 г., при этом обе эти заявки ссылкой включаются в данное раскрытие полностью во всех отношениях.

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

[0002] Одна или несколько реализаций относятся, в общем, к обработке звуковых сигналов и, в частности, к способам синхронизации аудиопотока и переключения в системе адаптивного звука.

ПРЕДПОСЫЛКИ

[0003] Не следует полагать, что предмет изобретения, обсуждаемый в разделе предпосылок, относится к известному уровню техники только лишь в результате его упоминания в разделе предпосылок. Аналогично, не следует полагать, что проблема, упоминаемая в разделе предпосылок или связанная с предметом изобретения в разделе предпосылок, является ранее признанной в известном уровне техники. Предмет изобретения в разделе предпосылок лишь представляет различные подходы, которые сами по себе также могут представлять собой изобретения.

[0004] Современные сервера цифровых кинотеатров передают в мультимедийный блок сжатые потоки видеоданных в определенном формате (например, в формате видеоизображения JPEG 2000) наряду с несколькими каналами оцифрованного звука, например с 16 каналами звука с импульсно-кодовой модуляцией (РСМ) с частотой дискретизации 48 КГц. Звуковое содержимое представляет собой пакетированный поток, который может иметь различные форматы в зависимости от поставщика кинематографической системы. Перед вводом в мультимедийный блок звуковой сигнал и видеосигнал могут зашифровываться. Мультимедийный блок дешифрует видеоизображение JPEG в несжатый немодулированный сигнал и передает звук в устройство обработки данных для кинематографии для их подготовки к требованиям среды проигрывания. Устройство обработки данных для кинематографии выполняет такие функции, как коррекция амплитудно-частотной характеристики для среды проигрывания, и направляет звуковые сигналы в соответствующие громкоговорители массива окружающего звука на основании меток каналов громкоговорителей, доставляемых в звуковом содержимом. Окончательный вывод включает подаваемый видеосигнал, который выходит в формате HD-SDI (цифровой последовательный интерфейс высокой четкости) на проектор, и аналоговый звук, который передается в усилители и громкоговорители. Для надлежащего проигрывания звуковые дорожки должны быть надлежащим образом синхронизированы с содержимым видеоизображения.

[0005] Вообще, аудиовизуальная (A/V) синхронизация в средах кинотеатров не является очень точной, и технические специалисты кинотеатров в настоящее время обычно не измеряют аудиовизуальную синхронизацию в ходе установки/калибровки. Аудиовизуальная синхронизация кинофильма считается точной в пределах 1,5 кадров (63 мс при скорости 24 кадров/с). Поскольку звук распространяется со скоростью около 1 фута/мс, аудиовизуальная синхронизация может варьироваться в пределах до 50 мс в зависимости от местоположения слушателя в кинотеатре. В современных кинематографических системах согласование звукового сигнала и видеосигнала по времени хорошо известно, поэтому звук и видеоизображение обычно синхронизированы. Времена ожидания таких общепринятых компонентов, как устройства обработки данных и проекторы, также хорошо известны, например время ожидания проектора, как правило, указывается равным около двух кадров, или 88 мс, поэтому сервер кинотеатра обычно можно запрограммировать для приспосабливания к различным характеристикам согласования по времени с целью обеспечения надлежащей синхронизации. В типичных приложениях мультимедийный блок содержит два компонента, действующих в реальном времени: интерфейс HD-SDI и интерфейс AAS (системы звукоусиления). Эти интерфейсы являются действующими в реальном времени и могут конфигурироваться для создания аудиовизуального вывода, который является синхронизированным или, в случае необходимости, запрограммированным с некоторой задержкой. Таким образом, несмотря на некоторую неточность, имеющуюся в современных системах, согласование по времени между звуковым содержимым и видеосодержимым является фиксированным, поэтому, когда дискретное значение цифрового звука передается в устройство обработки данных для кинематографии, за ним через довольно точно определенный промежуток времени (например, спустя 1/24 секунды) следует аналоговый звуковой сигнал, передаваемый на громкоговорители.

[0006] Было разработано новое устройство обработки данных адаптивного звука и формат звука на основе объектов, что позволяет передавать звук в боковой полосе соединения с сетью Ethernet. Указанное соединение с сетью Ethernet обеспечивает канал с высокой пропускной способностью для передачи нескольких комплексных звуковых сигналов. Если предположить, что пропускная способность единичного канала цифрового звука равна 1,5 мегабит/с (Мбит/с), то пропускная способность для современной 16-канальной системы (например, AES8) имеет порядок 24 Мбит/с (16×1,5 Мбит/с). Для сравнения, пропускная способность соединения с сетью Ethernet в данном приложении имеет порядок 150 Мбит/с, допуская до 128 дискретных комплексных звуковых сигналов. Такая система адаптивного звука передает звуковое содержимое из массива RAID (или аналогичного элемента хранения данных), действующего не в реальном времени, из сервера цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука для кинематографии. Сеть Ethernet представляет собой неравномерную, действующую не в реальном времени и недетерминированную среду передачи данных. Поэтому характерный признак аудиовизуальной синхронизации в современных системах обработки данных для кинематографии не применим к системе адаптивного звука данного типа. Звук, который доставляется через сеть Ethernet, должен синхронизироваться с видеоизображением посредством явной функции синхронизации. С целью выравнивания с видеосигналом звукового содержимого, доставляемого через сеть Ethernet, для надлежащей синхронизации звукового содержимого и видеосодержимого должно существовать детерминированное время ожидания.

КРАТКОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0007] Традиционные серверы цифровых кинотеатров доставляют звуковой сигнал и видеосигнал в единый мультимедийный блок. Указанный мультимедийный блок затем декодирует, выравнивает во времени и доставляет их синхронизированным образом. В системе адаптивного звука звуковое содержимое доставляется в двух отдельных типах содержимого, в форме многоканального звука (например, содержимого окружающего звука 51 или 7.1) и в форме адаптивного звука на основе объектов, который включает звук на основе каналов с метаданными, которые кодируют информацию местоположения для проигрывания звука в среде проигрывания. В системе адаптивного звука адаптивный звук с высокой битовой скоростью передачи данных передается из сервера цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука. Он представляет собой не находящийся в реальном времени и недетерминированный аудиопоток. Для того чтобы синхронизировать адаптивное звуковое содержимое с видеоизображением, предоставляемым сервером цифрового кинотеатра, с многоканальным звуком связывается сигнал синхронизации, чтобы устройство обработки данных адаптивного звука могло определять, какой кадр адаптивного звука проигрывать.

[0008] В одном варианте осуществления изобретения для поддержания адаптивного звукового содержимого в синхронизации с многоканальным звуковым содержимым сигнал синхронизации внедряется в поток многоканального звука и содержит идентификатор дорожки и информацию счетчика кадров. Это обеспечивает механизм обеспечения надлежащей аудиовизуальной синхронизации в среде проигрывания. Если происходит ошибка, например, кадр адаптивного звука не является доступным, или если идентификатор дорожки и информация номера кадра не совпадает с сигналом синхронизации, или если требуется проигрывать многоканальное содержимое вместо адаптивного звукового содержимого, запускается процесс переключения. Процесс переключения включает компонент плавного изменения уровня сигнала, который вызывает плавное уменьшения уровня звука до молчания с последующим плавным повышением уровня многоканальной звуковой дорожки от молчания до текущего уровня. Система будет продолжать проигрывать многоканальную звуковую дорожку до тех пор, пока номер кадра сигнала синхронизации и номер кадра адаптивного звука не совпадут, после чего уровень адаптивного звукового содержимого будет снова плавно повышен.

[0009] Варианты осуществления изобретения предусматривают надлежащую синхронизацию звукового сигнала и видеосигнала в кинематографической системе на основе адаптивного звука. Система полагается на то, что звук на основе каналов уже является синхронизированным с видеосигналом, и предусматривает способ передачи сигналов, который синхронизирует недетерминированное адаптивное звуковое содержимое на основе объектов с содержимым на основе каналов. Такой способ аудиовизуальной синхронизации обеспечивает надлежащее согласование по времени, защиту преодоления отказов и возможности переключения между звуковым содержимым в целом (многоканальный звук и адаптивный звук) и видеосигналом.

[0010] Варианты осуществления изобретения описаны для механизма синхронизации и переключения в системе адаптивного звука, где многоканальный (т.е. окружающий) звук предусматривается наряду с адаптивным звуковым содержимым на основе объектов. Сигнал синхронизации внедряется в поток многоканального звука и содержит идентификатор дорожки и счетчик кадров для адаптивного звука, подлежащего проигрыванию. Идентификатор дорожки и счетчик кадров принятого адаптивного аудиокадра сравнивается с идентификатором дорожки и счетчиком кадров, содержащимися в сигнале синхронизации. Если идентификатор дорожки или счетчик кадров не совпадает с сигналом синхронизации, запускается процесс переключения, который плавно понижает уровень адаптивной звуковой дорожки и плавно повышает уровень многоканальной звуковой дорожки. Система будет продолжать проигрывать многоканальную звуковую дорожку до тех пор, пока идентификатор дорожки и счетчик кадров сигнала синхронизации не совпадают с идентификатором дорожки и счетчиком кадров адаптивного звука, после чего уровень адаптивного звукового содержимого будет снова плавно повышен.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0011] В нижеследующих графических материалах сходные ссылочные позиции используются для ссылок на сходные элементы. Несмотря на то что нижеследующие чертежи изображают различные примеры, указанная одна или несколько реализаций не ограничиваются примерами, изображенными на чертежах.

[0012] Фиг. 1 - блок-схема системы адаптивного звука, которая реализует процесс синхронизации и защитного переключения согласно варианту осуществления изобретения.

[0013] Фиг. 2A - блок-схема системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука согласно варианту осуществления изобретения, в котором сигнал синхронизации связывается с многоканальным звуковым содержимым.

[0014] Фиг. 2 В - блок-схема системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука, согласно альтернативному варианту осуществления изобретения, в котором сигнал синхронизации генерируется мультимедийным блоком, принимающим многоканальное звуковое содержимое.

[0015] Фиг. 3 - схема последовательности операций, которая иллюстрирует способ синхронизации адаптивной звуковой дорожки с многоканальной звуковой дорожкой согласно варианту осуществления изобретения.

[0016] Фиг. 4 иллюстрирует состав звукового содержимого и адаптивного звукового содержимого в реальном времени при вводе в устройство обработки данных адаптивного звука согласно варианту осуществления изобретения.

[0017] Фиг. 5 - схема, иллюстрирующая буферизацию и обработку адаптивного звукового содержимого согласно варианту осуществления изобретения.

[0018] Фиг. 6 иллюстрирует состав сигнала синхронизации согласно варианту осуществления изобретения.

[0019] Фиг. 7 - схема, которая иллюстрирует компоненты и последовательности операций процессов обработки сигнала синхронизации согласно варианту осуществления изобретения.

[0020] Фиг. 8 - схема последовательности операций, которая иллюстрирует способ синхронизации сигналов адаптивного звука с использованием сигнала синхронизации согласно варианту осуществления изобретения.

[0021] Фиг. 9 иллюстрирует различные примеры содержимого, которое включает как звук на основе каналов, так и адаптивный звук на основе объектов и которое может использовать варианты осуществления способа синхронизации и переключения.

ПОДРОБНОЕ ОПИСАНИЕ

[0022] Системы и способы описываются для ступени представления данных системы адаптивного звука, которая синхронизирует аудиопотоки и обеспечивает защитное переключение при проигрывании аудиопотоков различных типов в случае недоступности аудиопотока предпочтительного типа. Особенности указанного одного или нескольких вариантов осуществления изобретения, описываемых в данном раскрытии, могут реализовываться в аудиосистеме, или аудиовизуальной системе, которая обрабатывает исходную звуковую информацию в системе микширования, представления данных и проигрывания, которая содержит один или несколько компьютеров или устройств обработки данных, исполняющих команды программного обеспечения. Любой из описываемых вариантов осуществления изобретения может использоваться отдельно или совместно с любым другим в любом сочетании. Несмотря на то что разные варианты осуществления изобретения могут быть мотивированы разными недостатками в известном уровне техники, которые могут обсуждаться или упоминаться в одном или нескольких местах данного описания, указанные варианты осуществления изобретения не обязательно обращаются к какому-либо из этих недостатков. Иными словами, разные варианты осуществления изобретения могут обращаться к разным недостаткам, которые могут обсуждаться в данном описании. Некоторые варианты осуществления изобретения могут лишь частично обращаться к некоторым недостаткам или только к одному недостатку, который может обсуждаться в данном описании, а некоторые варианты осуществления изобретения могут не обращаться ни к одному из этих недостатков.

[0023] Для целей нижеследующего описания термин «канал», или «аудиоканал», означает монофонический звуковой сигнал или аудиопоток и метаданные, в которых в качестве ID-канала закодировано положение, например «левый передний» или «правый верхний окружающий». Канал может активировать несколько громкоговорителей, например левые окружающие каналы (Ls) будут подавать сигнал на все громкоговорители в левом окружающем массиве. «Конфигурация каналов» представляет собой предварительно определяемый набор зон громкоговорителей со связанными номинальными местоположениями, например 5.1, 7.1 и т.д.; 5.1 относится к шестиканальной аудиосистеме окружающего звука, содержащей передние левый и правый каналы, один центральный канал, два окружающих канала и канал низкочастотного громкоговорителя; 7.1 относится к восьмиканальной системе окружающего звука, которой к системе 5.1 добавляются два дополнительных окружающих канала. Примеры конфигураций 5.1 и 7.1 включают системы окружающего звука Dolby®. «Объект», или «объектный канал», представляет собой один или несколько аудиоканалов с параметрическим описанием источника, таким как положение (например, трехмерных координат) кажущегося источника, ширина кажущегося источника и т.д. Например, объект может представлять собой аудиопоток и метаданные, в которых положение кодируется как трехмерное положение в пространстве. Термин «адаптивный звук» означает звуковое содержимое на основе объектов или на основе каналов, которое связано с метаданными, которые управляют представлением данных звукозаписи на основе среды проигрывания.

[0024] В одном варианте осуществления изобретения аудиозапись стандартного окружающего звука может обрабатываться посредством традиционных аудиокодеков на основе каналов, которые воспроизводят звук через массив громкоговорителей, находящихся в предварительно определенных положениях относительно слушателя. Для создания завершенной многоканальной звуковой программы звукоинженеры, как правило, микшируют большое количество отдельных аудиопотоков (например, диалог, музыку, эффекты) для создания желаемого общего впечатления. Решения при микшировании звука, как правило, принимаются путем прослушивания звуковой программы, которую воспроизводят массивом громкоговорителей, находящихся в предварительно определенных положениях, например определенной системой 5.1 или 7.1 в конкретном кинотеатре. Конечный, микшированный сигнал служит вводом в аудиокодек. В отличие от звука на основе каналов кодирование объектов предусматривает в качестве ввода в кодер отчетливые источники звука (звуковые объекты) в форме отдельных аудиопотоков. Каждый звуковой объект связан с пространственными параметрами, которые среди прочего могут включать положение звука, ширину звука и информацию о скорости. Звуковые объекты и связанные параметры затем кодируются с целью распространения и хранения. Окончательное микширование звуковых объектов и представление данных выполняется как часть проигрывания звуковой программы на принимающем конце цепочки распространения аудиозаписей. Этот этап может основываться на сведениях о фактических положениях громкоговорителей, таким образом, результатом является система распространения аудиозаписей, которая является настраиваемой в соответствии со специфическими для пользователя условиями прослушивания. Обе кодированные формы, на основе каналов и на основе объектов, оптимально действуют в разных условиях входного сигнала. Например, аудиокодеры на основе каналов обычно более эффективны при кодировании входных сигналов, содержащих плотные смеси разных источников звука, и для рассеянных звуков. Напротив, кодеры звуковых объектов более эффективны при кодировании небольшого количества высоконаправленных источников звука.

[0025] Фиг. 1 представляет собой блок-схему системы адаптивного звука, которая реализует процесс синхронизации и переключения, согласно одному варианту осуществления изобретения. Как показано в системе 100, входные звуковые сигналы доставляются в блок 102 устройства обработки данных адаптивного звука. Процессор генерирует оба звуковых сигнала PCM на основе каналов, которые включают метки каналов громкоговорителей для передачи звуковых сигналов на основе каналов в определенные громкоговорители окружающего звука или в группы громкоговорителей в соответствии с известными преобразованиями окружающего звука. Указанное устройство 102 обработки данных также генерирует звук на основе объектов, который содержит метаданные, идентифицирующие определенные громкоговорители в пределах массива громкоговорителей, предназначенные для проигрывания соответствующих звуковых объектов. Информация о положении доставляется в форме математических функций местоположения и определяет местоположения внутри помещения среды проигрывания относительно объема и размеров помещения и экрана, в отличие от определенных идентификаторов громкоговорителей или местоположений относительно отдельного слушателя в помещении. Такая аудиосистема обеспечивает восприятие слушателем большего эффекта присутствия и сохраняет замысел звукоинженера или оператора микширования для всех слушателей практически в любой среде прослушивания, поскольку данные звуков представляются на основе аллоцентрической системы отсчета. Аллоцентрическая система отсчета - это пространственная система отсчета, в которой звуковые объекты определяются относительно таких характерных признаков в пределах среды представления данных, как, например, стены и углы помещения, стандартные местоположения громкоговорителей и местоположение экрана (например, левый передний угол помещения), в отличие от эгоцентрической системы отсчета, которая представляет собой пространственную систему отсчета, в которой звуковые объекты определяются относительно перспективы слушателя и часто описываются относительно углов по отношению к слушателю (например, 30 градусов справа от слушателя).

[0026] Блок 104 устройства представления данных/вывода создает вывод на соответствующие громкоговорители массива громкоговорителей, который может содержать как громкоговорители 106 окружающего звука в определенной конфигурации (например, 5.1 или 7.1), так и дополнительные громкоговорители 108, предназначенные для проигрывания адаптивного звукового содержимого. Такие дополнительные громкоговорители могут включать смонтированные на потолке верхние громкоговорители, дополнительные задние низкочастотные громкоговорители, дополнительные экранные и боковые окружающие громкоговорители и т.д. В контексте данного раскрытия, термин «проигрывающая система» относится к одному или нескольким компонентам, которые совместно служат для выполнения функций представления данных, усиления и звукового вещания, и может содержать устройство представления данных, один или несколько усилителей, буферы, громкоговорители, соединительные компоненты и любые другие подходящие компоненты в любом сочетании или с любым устройством элементов.

[0027] Система 100 также содержит аудиокодек, который способен эффективно распределять и сохранять многоканальные звуковые программы. Он объединяет традиционные аудиоданные на основе каналов со связанными метаданными для получения звуковых объектов, которые способствуют созданию и доставке звука, который является адаптированным и оптимизированным для представления данных и проигрывания в средах, которые могут отличаться от среды микширования. Это позволяет звукоинженеру кодировать его замысел в отношении того, как конечная звукозапись должна слышаться слушателем, на основе фактической среды прослушивания слушателем. Компоненты системы 100 содержат систему кодирования, распространения и декодирования аудиозаписей, сконфигурированную для генерирования одного или нескольких битовых потоков, содержащих как традиционные звуковые элементы на основе каналов, так и звуковые элементы на основе объектов. Такой комбинированный подход обеспечивает большую эффективность кодирования и гибкость представления данных по сравнению с отдельно взятыми подходами на основе каналов или на основе объектов. Варианты осуществления изобретения включают расширение обратно совместимым образом предварительно определенного кодека на основе каналов для включения элементов кодирования звуковых объектов. Новый слой расширения, содержащий элементы кодирования звуковых объектов, определяется и добавляется к «базовому», или обратно совместимому, слою битового потока аудиокодека на основе каналов. Этот подход делает возможным один или несколько битовых потоков, которые включают слой расширения, подлежащий обработке унаследованными декодерами, в то же время обеспечивая усиленные слушательские впечатления для пользователей с новыми декодерами. Одним примером усиления слушательских впечатлений является управление представлением данных звукового объекта. Дополнительное преимущество данного подхода заключается в том, что звуковые объекты могут добавляться и модифицироваться повсюду в цепочке распространения без декодирования/микширования/повторного кодирования многоканального звука, кодированного аудиокодеком на основе каналов.

[0028] В системе адаптивного звука сигнал адаптивного звука с высокой скоростью передачи битов передается сервером цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука. Фиг. 2А представляет собой блок-схему системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука согласно одному варианту осуществления изобретения. Система 200 может представлять часть подсистемы представления данных в системе обработки данных для цифровой кинематографии. Как показано в системе 200, для сервера 202 цифрового кинотеатра предусмотрен аудиовизуальный (A/V) ввод 203. A/V ввод представляет звуковое содержимое и видеосодержимое, которое разработано создателями с использованием инструментальных средств авторской разработки системы обработки данных для кинематографии. Для варианта осуществления изобретения по фиг. 2А, аудиовизуальный входной сигнал 203 содержит видеоданные, аудиоданные (звук на основе каналов и объектов, а также метаданные местоположения) и сигнал синхронизации.

[0029] В том, что касается видеосодержимого, сервер 202 выводит видеосодержимое как сжатые данные (например, JPEG 2000) через первую линию Gigabit Ethernet (l000BaseT) или аналогичную линию 201 в мультимедийный блок 206, который затем передает надлежащим образом отформатированный видеосигнал (например, HD-SDI) в проектор 208.

[0030] В том, что касается звукового содержимого, сервер 202 цифрового кинотеатра выводит адаптивное звуковое содержимое через вторую линию 205 Gigabit Ethernet в устройство 204 обработки данных адаптивного звука. Адаптивное звуковое содержимое содержит звуковое содержимое на основе объектов, которое связано с метаданными, управляющими представлением данных звука на основе среды проигрывания. Поскольку адаптивное звуковое содержимое передается через соединение с сетью Ethernet, оно по своей сути является недетерминированным и представляет звуковую составляющую не в реальном времени. Сервер 202 кинотеатра также генерирует из содержимого на основе каналов из A/V ввода 203 пакетированный многоканальный звук. Он передается по первому каналу 201 сети Ethernet в мультимедийный блок 206, который генерирует звуковое содержимое в реальном времени для передачи в устройство 204 обработки данных адаптивного звука по каналу 207. В варианте осуществления изобретения мультимедийный блок 206 форматирует пакетированный многоканальный звук, принимаемый по каналу 201, согласно стандарту передачи цифровых звуковых сигналов, такому как AES3, для генерирования звукового содержимого в реальном времени, передаваемого по каналу 207. В типовой реализации звук в реальном времени содержит восемь сигналов AES3 для в общей сложности 16 каналов 207.

[0031] Устройство 204 обработки данных адаптивного звука действует в двух режимах: в режиме устройства обработки данных для кинематографии (традиционной цифровой кинематографии) и в режиме адаптивного звука. В режиме устройства обработки данных для кинематографии мультимедийный блок 206 генерирует несколько аудиоканалов, и они по линии 207 принимаются для ввода в устройство 206 обработки данных адаптивного звука. В типовой реализации этот звук содержит восемь сигналов AES3 для в общей сложности 16 каналов 207. Вывод устройства 204 обработки данных адаптивного звука в режиме устройства обработки данных для кинематографии (также именуемых звуком AES или DCI) содержит, например, 64 сигналов, подаваемых на громкоговорители (или массивы 7.1), которые выводятся на усилители 212 окружающих каналов. При обработке в цепи В (EQ, управление басами, ограничение) может предусматриваться корректируемое время ожидания, например 13-170 мс. В общем, подаваемые сигналы цепи В относятся к сигналам, обрабатываемым усилителями мощности, разделителями спектра и громкоговорителями, в отличие от содержимого цепи А, которое составляет звуковую дорожку на кинопленке.

[0032] В указанном режиме адаптивного звука устройство 204 обработки данных адаптивного звука действует как звуковой мультимедийный блок с подключением к сети Ethernet l000BaseT от сервера 202 для данных/управляющих сигналов. Восемь каналов 207 AES, которые доставляются в него из мультимедийного блока 206, используются для тактирования и синхронизации сигналов адаптивного звука, передаваемых из сервера 202 по второму каналу 205 сети Ethernet. Время ожидания этих сигналов приводится в соответствие c режимом устройства обработки данных для кинематографии посредством сигнала синхронизации, который связывается со звуковым содержимым 207 в реальном времени. В том, что касается представления данных адаптивного звука и обработки в цепи В, сигнал синхронизации внедряется в определенный канал (например, канал 13) файла звуковой дорожки DCI, содержащего звук в реальном времени. Поток адаптивного звукового содержимого и информации кадров передается из сервера 202 цифрового кинотеатра по сети Ethernet не в реальном времени в устройство 204 обработки адаптивного звука. В общем, кадры представляют собой короткие, независимо кодированные сегменты, на которые разделяется полная звуковая программа, и частота и границы аудиокадра обычно выравниваются с видеокадрами. Процесс или компонент сравнения в устройстве 204 обработки данных адаптивного звука следит за номером кадра в сигнале синхронизации и информацией кадра из второго канала 205 сети Ethernet и сравнивает оба эти значения. Если они совпадают, устройство обработки данных адаптивного звука проигрывает кадр адаптивного звука через усилители 210 и 212. Если информация кадров для сигнала синхронизации и адаптивного звукового содержимого не совпадает, или если сигнал синхронизации отсутствует, устройство обработки данных возвращается к аудиопотоку в реальном времени.

[0033] Для варианта осуществления изобретения, проиллюстрированного на фиг. 2А, сигнал синхронизации генерируется и связывается со звуковым сигналом входного аудиовизуального содержимого 203, или внедряется в этот сигнал, в ходе окончательной обработки или авторской разработки содержимого. В альтернативном варианте осуществления изобретения сигнал синхронизации автоматически генерируется компонентом или процессом на ступени представления данных. Фиг. 2В представляет собой блок-схему системы адаптивного звука, в которой сигнал синхронизации генерируется мультимедийным блоком, принимающим многоканальное звуковое содержимое. Как показано в системе 220 по фиг. 2В, входное аудиовизуальное содержимое содержит звуковое содержимое и видеосодержимое 213, которое является входным в сервер 202 цифрового кинотеатра. Этот сервер 202 цифрового кинотеатра сконфигурирован для передачи информации, касающейся состава содержимого, также именуемой списком состава воспроизведения, в мультимедийный блок 206. Этот список состава воспроизведения включает (1) длину файла видеодорожки в кадрах (т.е. первый кадр видеоизображения, предназначенный для проигрывания, и последний кадр видеоизображения, предназначенный для проигрывания); (2) длину файла дорожки многоканального звука в кадрах (т.е. первый кадр видеоизображения, предназначенный для проигрывания, и последний кадр видеоизображения, предназначенный для проигрывания); и (3) длину файла звуковой дорожки в кадрах (т.е. первый кадр адаптивного звука, предназначенный для проигрывания, и последний кадр адаптивного звука, предназначенный для проигрывания). Также, по мере необходимости в зависимости от ограничений и требований реализации, может включаться дополнительная или другая информация. Сигнал синхронизации автоматически генерируется мультимедийным блоком 206 и передается в реальном времени по каналу 207 в формате AES3, например, в устройство 204 обработки данных адаптивного звука. Как результат процесса создания и окончательной обработки содержимого, файлы дорожек многоканального (по линии 201) и адаптивного (по линии 205) звука должны содержать одинаковое количество дискретных значений/кадров и должны быть выровненными во времени. Если мультимедийный блок 206 принимает список состава воспроизведения и вызывается файл дорожки адаптивного звука, мультимедийный блок может динамически представлять данные сигнала синхронизации, основываясь на номере текущего кадра файла многоканальной звуковой дорожки, который проигрывается. Это может облегчать вывод сигнала синхронизации, когда содержимое не вызывает файл дорожки адаптивного звука.

[0034] Фиг. 3 представляет собой схему последовательности операций, которая иллюстрирует способ синхронизации дорожки адаптивного звука с многоканальной звуковой дорожкой, согласно варианту осуществления изобретения. Как показано на фиг. 3, процесс начинается с внедрения сигнала синхронизации как части файла многоканального звука, который передается по первому каналу 201 сети Ethernet из сервера 202. В варианте осуществления изобретения для звукового содержимого в реальном времени, передаваемого по каналу 207, сигнал синхронизации AES форматируется как специальный незвуковой поток (например, SMPTE 337M), который содержит счетчик текущего кадра и информацию идентификатора дорожки (например, UUID), и повторяется несколько раз в каждом кадре. Как показано в отношении системы 200 по фиг. 2А, сигнал синхронизации может генерироваться во время представления данных или упаковки и вставляться в дорожку 13 файла звуковой дорожки в реальном времени (DCI), действие 304. В альтернативном варианте, как показано в отношении системы 220 по фиг. 2В, сигнал синхронизации может генерироваться мультимедийным блоком 206. Сигнал синхронизации относится к началу файла звуковой дорожки. Сигнал адаптивного звука и связанная информация кадра передаются в потоке по второму соединению 205 Gigabit Ethernet в устройство 204 обработки данных адаптивного звука, действие 306. Затем система сравнивает номер кадра в сигнале синхронизации с информацией кадра адаптивного звука, действие 308. Если номера кадров совпадают, что определяется в блоке 308, то кадр адаптивного звука проигрывается, действие 312. Иначе существует состояние ошибки, и взамен проигрывается многоканальный звук в реальном времени, действие 314.

[0035] В альтернативном варианте осуществления изобретения сигнал синхронизации может кодироваться как слышимый звуковой сигнал с использованием, например, частотной манипуляции (FSK) в противоположность незвуковому потоку в формате SMPTE 337M. Это позволяет сигналу синхронизации быть устойчивым к применению звуковых водяных знаков и преобразованию частоты дискретизации от 48 КГц до 96 КГц, которые могут применяться мультимедийным блоком перед выводом сигналов в формате AES3 по каналу 207.

[0036] Сигнал синхронизации содержит идентификатор дорожки для того, чтобы препятствовать проигрыванию звука из одной композиции с видеоизображением из другой композиции. Наличие как номера кадра, так и идентификатора кадра (например, дорожки UUID) создает уникальную связь, препятствующую появлению указанной ошибки. Такая возможность демонстрируется со ссылкой на фиг. 9, где несколько видеоклипов в показе могут содержать адаптивный звук с одинаковыми номерами кадров. В этом случае, разные идентификаторы кадров предотвращают неверное проигрывание звука, которое может быть вызвано связыванием или неверным связыванием аудиокадров с разными видеоклипами.

[0037] Пакеты сети Ethernet не в реальном времени, которые передаются из сервера 202 цифрового кинотеатра в устройство 204 обработки данных адаптивного звука по каналу 205, содержат заголовки с ID дорожки и информацией счетчика кадров. ID дорожки и счетчик кадров внедряются в звуковую дорожку в реальном времени и передаются по каналам 207 AES из мультимедийного блока 206 в устройство 204 обработки данных адаптивного звука. Устройство обработки данных адаптивного звука сравнивает данные кадра из сети Ethernet с таковыми для сигнала синхронизации и проигрывает кадр адаптивного звука, если этот кадр обнаруживается. Фиг. 4 иллюстрирует состав данных адаптивного канала в реальном времени и данных адаптивного звука в сети Ethernet согласно варианту осуществления изобретения. Как показано на фиг. 4, пакет данных, передаваемый по каналу 205 Gigabyte Ethernet из сервера 202 в устройство 204 обработки данных, включает пакеты данных, перемежаемые информацией кадров. В примере по фиг. 4 данные сети Ethernet 205 организуются в аудиокадры B1-A3-A2-A1. Аудиоданные в реальном времени, передаваемые по каналу 207 из мультимедийного блока 206 в устройство 204 обработки данных, кодируются с номерами кадров, закодированными в сигнале синхронизации звука DCI. В этом случае данный пример кодирования перечисляет кадры B1-A3-A2-A1. Поскольку кадры между двумя сигналами совпадают, будет проигрываться адаптивное звуковое содержимое из сервера 202. Если имеет место ошибка, то есть номера кадров не совпадают, или если отсутствует сигнал синхронизации, вместо сигнала адаптивного звука может проигрываться звуковой сигнал в реальном времени.

[0038] Фиг. 5 представляет собой схему, иллюстрирующую буферизацию и обработку адаптивного звукового содержимого, согласно варианту осуществления изобретения. Система 500 непрерывно обрабатывает восемь входных сигналов AES, буферирует данные и определяет, присутствует ли сигнал синхронизации. Сигналы в реальном времени являются входными в блок 502 извлечения сигнала синхронизации. ID кадра и данные РСМ передаются в устройство 510 управления последовательностью кадров. Параллельно, сигнал адаптивного звука, передаваемый по каналу 205 Gigabit Ethernet, является входным в блок 504 дешифратора, блок 506 декодера и блок 508 представления данных. ID кадра и данные РСМ, генерируемые блоком 508 представления данных, вводятся в устройство 510 управления последовательностью кадров. Затем устройство управления последовательностью кадров в зависимости от того, присутствует ли сигнал синхронизации и совпадает ли кадр синхронизации с кадром адаптивного звука, принимает решение о том, какой звуковой набор, звук в реальном времени или адаптивный звук, подлежит выводу. Выбранный вывод затем направляется в устройство 512 обработки данных в цепи В.

[0039] Фиг. 6 иллюстрирует состав сигнала синхронизации согласно варианту осуществления изобретения. Как показано на фиг. 6, примеры кадров для левого и правого каналов 602 РСМ обозначены как А1 и А2. Сигнал 606 синхронизации доставляется по специальному каналу (например, каналу 13) в звуковой дорожке DCI. Сигнал синхронизации выравнивается с началом каждого звукового кадра (42 мс звука в каждом кадре). Сигнал 606 синхронизации содержит слово синхронизации, ID файла дорожки (UUID) и счетчик кадров (UINT32).

[0040] В варианте осуществления изобретения могут существовать различные режимы синхронизации, в том числе: начальная синхронизация, поиск дорожки (который может представлять собой то же самое, что и начальная синхронизация), переключение адаптивного звука в/из DCI и повторная синхронизация при устранении ошибок. Для принятия решения о том, какой формат звука следует проигрывать, все режимы используют один и тот же механизм.

[0041] Фиг. 7 представляет собой схему, которая иллюстрирует компоненты и последовательности операций процесса обработки сигнала синхронизации, согласно одному из вариантов осуществления изобретения. Как показано на фиг. 7, каналы адаптивного звукового содержимого и звука в реальном времени (AES3) являются входными в устройство 704 управления синхронизацией. Для сигналов в реальном времени, один канал перемежаемых данных РСМ несет сигнал синхронизации, а остальные каналы несут многоканальное содержимое (окружающий звук). Устройство управления синхронизацией соединено с входным буфером 702 аудиоданных РСМ и входным буфером 706 кодированного звука. Аудиоданные РСМ направляются прямо на выходной буфер 710 аудиоданных РСМ, в то время как кодированный звук направляется в блок 708 декодирования звука, который преобразовывает кодированный звук в формат РСМ для ввода в буфер 710. Буфер 710 затем создает цифроаналоговый вывод, который является тактированным на основе входного тактового генератора AES.

[0042] Фиг. 8 представляет собой схему последовательности операций, которая иллюстрирует способ синхронизации сигналов адаптивного звука с использованием сигнала синхронизации, варианту осуществления изобретения. Процесс 800, иллюстрируемый на фиг. 8, использует компоненты буфера и устройства управления синхронизацией, проиллюстрированные на фиг. 7, а сигнал синхронизации проиллюстрирован на фиг. 6. Процесс по фиг. 8 в основном иллюстрирует буферизацию сигнала синхронизации во входном и выходном буферах и сохранение кодированного кадра из сигнала синхронизации в выходном буфере перед сравнением с номером кадра адаптивного звука. Процесс 800 начинается с предварительного заполнения выходного буфера молчанием для фиксации времени ожидания, блок 802. Затем запускается процесс ввода/вывода, блок 804. В результате он приводит к приему входного дискретного значения для звукового содержимого в реальном времени, блок 806. В блоке 808 принятия решения определяется, обнаружен или нет сигнал синхронизации. Если не обнаружен, в дальнейшем определяется, достигнуто или нет максимальное количество дискретных значений сигнала синхронизации, блок 824. Если не достигнуто, дискретное значение сохраняется во входном буфере дискретных значений, блок 826, и процесс снова продолжается из блока 806. Если в блоке 824 определяется, что было достигнуто максимальное количество, входные дискретные значения копируются в выходной буфер, блок 822, буфер входных дискретных значений очищается, блок 820, и процесс продолжается из блока 806. Если сигнал синхронизации обнаруживается, что определяется в блоке 808, процесс производит проверку того, доступен ли кодированный кадр, связанный с сигналом синхронизации, блок 810. Если указанный кадр доступен, что определяется в блоке 812 принятия решения, связанный кадр копируется в выходной буфер, блок 814, а буфер входных дискретных значений очищается, блок 818, и принимается следующее входное дискретное значение, блок 806. Если кадр недоступен, что определяется в блоке 812, входные дискретные значения затем копируются в выходной буфер, блок 816, буфер входных дискретных значений очищается, блок 818, и процесс продолжается путем приема следующего входного дискретного значения, блок 806.

[0043] Механизм синхронизации, описанный в данном раскрытии, требует минимальных изменений программного обеспечения мультимедийного блока (маршрутизации звука для дорожки синхронизации) и представляет простой механизм потоковой передачи данных не в реальном времени из сервера кинотеатра в устройство обработки данных адаптивного звука. Схема буферизации из сервера 202 в устройство 204 обработки данных использует такой же протокол потоковой передачи данных, как и при передаче из сервера 202 в мультимедийный блок 206. Это обеспечивает точную синхронизацию с мультимедийным блоком и устойчивость к ошибкам мультимедийного блока - если мультимедийный блок 206 выбрасывает кадр, устройство 204 обработки также выбросит кадр. Такой устойчивый механизм отката гарантирует то, что звук будет проигрываться всегда.

[0044] Что касается потоковой передачи данных через сеть Ethernet, протокол передачи данных из сервера 202 в устройство 204 обработки данных адаптивного звука аналогичен протоколу передачи данных из сервера 202 в мультимедийный блок 206. Он представляет собой выделенное соединение с сетью Ethernet, которое не использует полосу пропускания совместно с мультимедийным блоком и является интерфейсом не в реальном времени, который монопольно передается по сети Ethernet с несколькими секундами, буферируемыми в устройстве 204 обработки данных. Для сервера 202, который просто максимально быстро передает данные, не существует жестких сроков в реальном времени. Для управления заполнением буфера/управления потоками система использует кадрирование TCP.

[0045] В одной иллюстративной реализации битовая скорость передачи данных содержимого может быть следующей:

250 Мбит/с - видеоизображение+37 Мбит/с - звук DCI (16 каналов при 96 КГц)+147 Мбит/с - адаптивный звук (128 каналов при 48 КГц)=434 Мбит/с (текущие данные цифровой кинематографии+адаптивный звук).

[0046] В варианте осуществления изобретения система адаптивного звука содержит механизмы для обращения к некоторым состояниям ошибки, в том числе: вставленный/выброшенный аудиокадр в мультимедийном блоке, незаполнение буфера на адаптивном звуке из сервера 202 в устройство 204 обработки данных адаптивного звука, потеря соединения с сетью Ethernet между сервером и устройством обработки данных, потеря соединения с сетью Ethernet между сервером и мультимедийным блоком, потеря соединения AES от мультимедийного блока к устройству обработки данных, ошибки дешифрования/декодирования в устройстве обработки данных, операционные ошибки в устройстве обработки данных.

[0047] Дальнейшие усовершенствования включают обеспечение проигрывания адаптивного звука с исходной частотой кадров, поддержку одновременного ввода AES и файла, средства текущего контроля сигнала синхронизации на вводе звука в реальном времени, автоматическое переключение между звуком в реальном времени и адаптивным звуком на основе сигнала синхронизации с постоянным временем ожидания, и средства проверки того, что синхронизация сохраняется в других порядках содержимого DCI и адаптивного звука.

[0048] Сигнал синхронизации, внедренный в поток многоканального звука и содержащий номер кадра потока адаптивного звука, подлежащего проигрыванию, обеспечивает основу для механизма переключения в случае ошибки или возникновения события переключения в отношении кадра адаптивного звука. В ходе проигрывания кадр адаптивного звука проигрывается, если кадр адаптивного звука является доступным и номер кадра совпадает с сигналом синхронизации. Если нет, уровень звука будет плавно понижаться до тех пор, пока он не станет бесшумным. Затем будет плавно повышаться уровень звуковой дорожки в реальном времени. Система будет продолжать проигрывать звуковую дорожку в реальном времени до тех пор, пока номер кадра в сигнале синхронизации и номер кадра адаптивного звука не совпадут. В том, что касается периода плавного повышения/понижения уровня и формы изменения, параметры в типовой реализации таковы: 10 мс - периоды плавного повышения и понижения уровня с линейной формой. Как только кадры адаптивного звука становятся доступны и совпадают с сигналом синхронизации, уровень содержимого адаптивного звука снова плавно повышается. В этом случае, уровень адаптивного звука плавно повышается с использованием такого же периода плавного повышения уровня - 10 мс. Следует отметить, что в зависимости от подробностей конкретной реализации могут реализовываться и другие периоды и формы плавного повышения уровня.

[0049] В варианте осуществления изобретения способы и компоненты синхронизации и переключения реализуются в системе адаптивного звука, где звуковые объекты рассматриваются как группы звуковых элементов, которые могут восприниматься как исходящие из определенного физического местоположения, или местоположений, в зрительном зале. Такие объекты могут быть неподвижными, или они могут перемещаться. Звуковые объекты управляются метаданными, которые, среди прочего, подробно указывают положение звука в данный момент времени. Когда объекты подвергаются текущему контролю или проигрываются в кинотеатре, их данные представляются в соответствии с позиционными метаданными с использованием громкоговорителей, которые имеются в наличии, а не с необходимостью выводиться в один из физических каналов. Дорожка в сеансе может представлять собой звуковой объект, а стандартные данные панорамирования являются аналогичными позиционным метаданным. Таким образом, содержимое, размещаемое на экране, может эффективно панорамироваться таким же образом, как и содержимое на основе каналов, однако данные содержимого, размещаемого в окружающих каналах, могут при желании представляться в отдельный громкоговоритель.

[0050] Варианты осуществления изобретения могут применяться к звуковому и программному содержимому различных типов, содержащему как содержимое окружающего звука на основе каналов, так и адаптивное звуковое содержимое. Фиг. 9 представляет собой схему 900, которая иллюстрирует различные примеры содержимого, которое содержит как звук в реальном времени, так и адаптивный звук, и которое может использовать варианты осуществления процесса синхронизации и переключения. Содержимое может основываться на единичном адаптивном аудиоклипе, который содержит звук на основе объектов и связанные метаданные. Показ с таким форматом микшированного звука, как формат, который может показываться в кинотеатре, может дополнительно включать анонс и рекламу, которые используют звук в реальном времени. Показ с передовым звуком может дополнительно включать такое видеосодержимое, как анонс, который содержит видеосодержимое с большим количеством адаптивного звукового содержимого. Такой случай проиллюстрирован на фиг. 9 как перемеженный адаптивный звук / звуковая программа DCI. Наконец, пример содержимого может содержать наряду с видеопрограммой на основе адаптивного звука показ с форматом микшированного видеоизображения, которое включает рекламу на основе звука в реальном времени и содержимое анонса. В общем, устройство обработки данных адаптивного звука не нуждается в том, чтобы быть осведомленным ни о взаимосвязи синхронизации с видеосигналом, ни о топологии кинофильма. Следует отметить, что фиг. 9 включена только с целью примера в отношении реализации, и что особенности описанных вариантов осуществления изобретения могут использоваться аудиовизуальными программами многих других типов и составов.

[0051] Варианты осуществления изобретения, в общем, направлены на приложения в средах цифровой кинематографии (D-cinema), которые используют стандарт SMPTE 428-3-2006, озаглавленный «D-Cinema Distribution Master Audio Channel Mapping and Channel Labeling», который диктует идентификацию и местоположение каждого канала в аудиосистеме для цифровой кинематографии. Варианты осуществления изобретения также реализуются в системах, которые используют стандарт AES3 (Общество инженеров-акустиков) для транспорта цифровых звуковых сигналов между звуковыми устройствами профессионального уровня. Следует учитывать, что не все варианты осуществления изобретения ограничены таким образом.

[0052] Несмотря на то, что варианты осуществления изобретения были описаны в отношении примеров и реализаций в кинематографической среде, где адаптивное звуковое содержимое связано с содержимым кинофильма для использования в системах обработки данных для цифровой кинематографии, следует отметить, что варианты осуществления изобретения также могут использоваться в некинематографических средах. Адаптивное звуковое содержимое, содержащее звук на основе объектов и звук на основе каналов, может использоваться в сочетании с любым родственным содержимым (связанным звуком, видеоизображениями, графикой и т.д.), или оно может составлять автономное звуковое содержимое. Среда проигрывания может представлять собой любую подходящую среду прослушивания от наушников или мониторов в ближней зоне до малых или больших помещений, автомобилей, открытых площадок, концертных залов и т.д.

[0053] Особенности системы 100 могут реализовываться в подходящей сетевой среде обработки звука на компьютерной основе для обработки файлов цифрового или оцифрованного звука. Части системы адаптивного звука могут включать одну или несколько сетей, которые содержат любое необходимое количество отдельных машин, в том числе один или несколько маршрутизаторов (не показаны), которые служат для буферизации и маршрутизации данных, передаваемых между компьютерами. Такая сеть может строиться на разнообразных сетевых протоколах и может представлять собой сеть Интернет, глобальную сеть (WAN), локальную сеть (LAN) и любую их комбинацию. В варианте осуществления изобретения, где сеть включает сеть Интернет, одна или несколько машин могут конфигурироваться для доступа в сеть Интернет через программы сетевой навигации. Кроме того, некоторые описанные и проиллюстрированные на чертежах интерфейсы и каналы могут реализовываться с использованием различных протоколов. Например, соединения с сетью Ethernet могут реализовываться с использованием любого подходящего протокола TCP/IP и проводного носителя, такого как медный, оптоволоконный и подобный носитель, или, при необходимости, они могут замещаться другими цифровыми протоколами передачи данных.

[0054] Один или несколько из компонентов, блоков, процессов или других функциональных составляющих могут реализовываться посредством компьютерной программы, которая управляет исполнением системного вычислительного устройства на процессорной основе. Также следовало бы отметить, что различные функции, раскрытые в данном раскрытии, могут описываться с использованием любого количества сочетаний аппаратного обеспечения, программно-аппаратного обеспечения, и/или данных, и/или команд, воплощенных в различных машиночитаемых, или компьютерно-читаемых, носителях данных, исходя из характеристик их поведения, регистровой пересылки, логических компонентов и/или других характеристик. Машиночитаемые носители данных, в которых могут воплощаться указанные форматированные данные и/или команды, включают в качестве неограничивающих примеров физические (непреходящие), энергонезависимые носители данных в различных формах, такие как оптические, магнитные или полупроводниковые носители данных.

[0055] Если контекст явно не требует иного, повсюду в данном описании и формуле изобретения слова «содержать», «содержащий» и т.п. следует толковать во включающем смысле, в противоположность исключающему или исчерпывающему смыслу - то есть в смысле «включающий в качестве неограничивающего примера». Слова, использованные в форме единственного или множественного числа, также включают форму множественного или единственного числа соответственно. Кроме того, выражения «в данном раскрытии», «в соответствии с данным раскрытием», «выше», «ниже» и схожие по смыслу слова относятся к данной заявке в целом, а не только к каким-либо определенным частям данной заявки. Когда слово «или» используется со ссылкой на список из двух или более элементов, это слово охватывает все следующие интерпретации слова: любой из элементов в списке, все элементы в списке, все элементы в списке и любая комбинация элементов в списке.

[0056] Несмотря на то, что одна или несколько реализаций были описаны посредством примеров и исходя из конкретных вариантов осуществления изобретения, следует понимать, что одна или несколько реализаций не ограничиваются раскрытыми вариантами осуществления изобретения. Наоборот, они предназначаются для охвата различных модификаций и сходных схем, что должно быть очевидно для специалистов в данной области техники. Поэтому объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации с тем, чтобы он охватывал все такие модификации в похожих схемах.

Изобретение относится к области обработки звуковых сигналов и, в частности, к синхронизации аудиопотока и переключения в системе адаптивного звука. Техническим результатом является обеспечение надлежащей синхронизации звукового содержимого и видеосодержимого и передача звука в боковой полосе соединения с сетью Ethernet. Указанный технический результат достигается тем, что сигнал синхронизации внедряется в поток многоканального звука и содержит идентификатор дорожки и счетчик кадров для потока адаптивного звука, подлежащего проигрыванию. Идентификатор дорожки и счетчик кадров принятого кадра адаптивного звука сравнивается с идентификатором дорожки и счетчиком кадров, содержащимися в сигнале синхронизации. Если или идентификатор дорожки, или счетчик кадров не соответствует сигналу синхронизации, процесс переключения плавно понижает уровень дорожки адаптивного звука и плавно повышает уровень многоканальной звуковой дорожки. Система проигрывает многоканальную звуковую дорожку до тех пор, пока идентификатор дорожки и счетчик кадров сигнала синхронизации и идентификатор дорожки и счетчик кадров дорожки адаптивного звука не совпадут, после чего уровень адаптивного звукового содержимого будет снова плавно повышен. 4 н. и 23 з.п. ф-лы, 10 ил.

1. Способ обработки звуковых сигналов, включающий этапы, на которых:
генерируют многоканальное звуковое содержимое, содержащее звуковые сигналы на основе каналов и информацию проигрывания, определяющую громкоговорители массива громкоговорителей, через которые подлежат проигрыванию соответствующие сигналы на основе каналов;
генерируют адаптивное звуковое содержимое, содержащее звуковые сигналы на основе объектов и информацию представления трехмерного местоположения для звуковых сигналов на основе объектов; при этом многоканальное звуковое содержимое или адаптивное звуковое содержимое подлежат проигрыванию с видеосодержимым; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым; и
обеспечивают сигнал синхронизации вместе с текущим кадром многоканального звукового содержимого для синхронизирующего проигрывания звуковых сигналов на основе объектов относительно видеосодержимого, при этом сигнал синхронизации содержит идентификатор дорожки и информацию счетчика кадров для текущей дорожки и текущего кадра адаптивного звукового содержимого; при этом текущий кадр адаптивного звукового содержимого подлежит проигрыванию при совпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого с идентификатором дорожки и счетчиком кадров в сигнале синхронизации, в противном случае проигрывают многоканальное звуковое содержимое.

2. Способ по п.1, отличающийся тем, что дополнительно включает этапы, на которых:
сравнивают идентификатор дорожки и информации счетчика кадров в сигнале синхронизации для адаптивного звукового содержимого с идентификатором дорожки и информацией счетчика кадров для принятого звукового сигнала на основе объектов в адаптивном звуковом содержимом; и
реализуют процесс переключения при несовпадении идентификатора дорожки и информации счетчика кадров в сигнале синхронизации с идентификатором дорожки и информацией счетчика кадров для принятого звукового сигнала на основе объектов или при отсутствии сигнала синхронизации.

3. Способ по п.2, отличающийся тем, что процесс переключения включает:
плавное понижение уровня звуковых сигналов на основе объектов до достижения порога молчания; и
плавное повышение уровня звуковых сигналов на основе каналов.

4. Способ по п.3, отличающийся тем, что при совпадении идентификатора дорожки и информации счетчика кадров в сигнале синхронизации с идентификатором дорожки и информацией счетчика кадров для принятого впоследствии звукового сигнала на основе объектов процесс переключения дополнительно включает этапы, на которых:
плавно понижают уровень звуковых сигналов на основе каналов; и
плавно повышают уровень последующих звуковых сигналов на основе объектов.

5. Способ по п.1, отличающийся тем, что сигнал синхронизации включают как часть входного аудиовизуального сигнала, содержащего видеосодержимое, многоканальное звуковое содержимое и адаптивное звуковое содержимое.

6. Способ по п.1, отличающийся тем, что сигнал синхронизации автоматически генерируют компонентом мультимедийного блока, форматирующим многоканальное звуковое содержимое, принятое в соответствии со стандартом передачи цифровых звуковых сигналов, для получения звукового содержимого в реальном времени.

7. Способ по п.6, отличающийся тем, что стандарт передачи цифровых звуковых сигналов включает стандарт AES3, и при этом звуковое содержимое в реальном времени содержит многоканальный звук, а также при этом идентификатор дорожки и информацию счетчика кадров, внедренные в файл многоканальной звуковой дорожки звукового содержимого в реальном времени, связывают с адаптивным звуковым содержимым через сигнал синхронизации AES.

8. Способ по п.7, отличающийся тем, что информация представления данных местоположения для звуковых сигналов на основе объектов содержит метаданные, определяющие местоположение в трехмерном пространстве, из которого предполагают испускание соответствующих сигналов из числа звуковых сигналов на основе объектов в среде проигрывания, содержащей массив громкоговорителей; и при этом многоканальное звуковое содержимое содержит аудиоданные окружающего звука на основе каналов, предназначенные для проигрывания через аудиосистему окружающего звука, использующую массив громкоговорителей.

9. Способ по п.8, отличающийся тем, что дополнительно включает прием аудиовизуального входного сигнала сервером цифрового кинотеатра и вывод видеосодержимого и многоканального звукового содержимого по первому соединению с сетью Ethernet и адаптивного звукового содержимого по второму соединению с сетью Ethernet в устройство обработки данных адаптивного звука, интерпретирующего метаданные и представляющего, а также проигрывающего сигналы на основе объектов из адаптивного звукового содержимого через определенные громкоговорители массива громкоговорителей.

10. Система синхронизации звуковых сигналов и видеосигналов, содержащая:
сервер, принимающий аудиовизуальный сигнал и выводящий видеосодержимое и многоканальное звуковое содержимое по первому соединению с сетью Ethernet, а также выводящий адаптивное звуковое содержимое на основе объектов по второму соединению с сетью Ethernet; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым;
мультимедийный блок, связанный с сервером по первому соединению с сетью Ethernet, принимающий многоканальное звуковое содержимое и выводящий многоканальное звуковое содержимое, при этом текущий кадр многоканального звукового содержимого выводят вместе с сигналом синхронизации, содержащим идентификатор дорожки и информацию счетчика кадров для текущего кадра адаптивного звукового содержимого на основе объектов с целью сравнения с идентификатором дорожки и информацией счетчика кадров адаптивного звукового содержимого на основе объектов;
устройство обработки данных адаптивного звука, связанное с сервером по второму соединению с сетью Ethernet и с мультимедийным блоком и принимающее многоканальное звуковое содержимое, сигнал синхронизации и адаптивное звуковое содержимое на основе объектов;
схему сравнения устройства обработки данных адаптивного звука, сравнивающую идентификатор дорожки и счетчик кадров принимаемого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров в сигнале синхронизации; и
систему проигрывания, сконфигурированную для представления данных и воспроизведения текущего кадра адаптивного звукового содержимого на основе объектов при совпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров в сигнале синхронизации, а в противном случае - для проигрывания многоканального звукового содержимого.

11. Система по п.10, отличающаяся тем, что многоканальное звуковое содержимое содержит содержимое для цифровой кинематографии, в том числе звук на основе каналов для проигрывания через аудиосистему окружающего звука.

12. Система по п.11, отличающаяся тем, что дополнительно содержит массив громкоговорителей, содержащий громкоговорители окружающего звука, расположенные в определенной окружающей конфигурации, и ряд дополнительных громкоговорителей, расположенных в помещении, определяющем среду проигрывания звука.

13. Система по п.12, отличающаяся тем, что адаптивное звуковое содержимое на основе объектов содержит звуковые сигналы на основе объектов и метаданные, содержащие информацию трехмерного местоположения, определяющую местоположение в трехмерном пространстве, из которого предполагается испускание звуковых сигналов на основе объектов в среде проигрывания, содержащей массив громкоговорителей.

14. Система по п.13, отличающаяся тем, что дополнительно содержит компонент переключения, сконфигурированный для плавного понижения уровня проигрывания звука через массив громкоговорителей при несовпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров, закодированными в сигнале синхронизации, плавного повышения уровня и проигрывания многоканального звукового содержимого до тех пор, пока номер кадра принятого адаптивного звукового содержимого на основе объектов не совпадает с номером кадров, закодированным в сигнале синхронизации, а также для плавного повышения уровня последующего кадра адаптивного звука при совпадении идентификатора дорожки и счетчика кадров с идентификатором дорожки и счетчиком кадров, закодированными в сигнале синхронизации, после плавного понижения уровня многоканального звукового содержимого.

15. Система по п.14, отличающаяся тем, что многоканальное звуковое содержимое отформатировано как звук в реальном времени, и при этом сигнал синхронизации содержит сигнал синхронизации AES, внедренный в файл звуковой дорожки DCI многоканального звукового содержимого.

16. Система по п.15, отличающаяся тем, что сигнал синхронизации отформатирован как незвуковой потоковый сигнал SMPTE 337M и содержит ряд полей данных, определяющих по меньшей мере идентификатор дорожки и счетчик кадров.

17. Система по п.16, отличающаяся тем, что дополнительно содержит компонент устройства управления синхронизацией, принимающий как многоканальное звуковое содержимое, так и адаптивное звуковое содержимое на основе объектов, и один или несколько входных и выходных буферов, связанных с компонентом устройства управления синхронизацией для сохранения звуковых дискретных значений многоканального звукового содержимого.

18. Способ синхронизации звуковых сигналов и видеосигналов, включающий этапы, на которых:
принимают входной аудиовизуальный сигнал и выводят видеосодержимое и многоканальное звуковое содержимое по первому соединению с сетью Ethernet, а также адаптивное звуковое содержимое на основе объектов по второму соединению с сетью Ethernet; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым;
принимают многоканальное звуковое содержимое в мультимедийном блоке и выводят многоканальное звуковое содержимое, при этом многоканальное звуковое содержимое обеспечивают с информацией кадра, содержащей идентификатор дорожки и счетчик кадров для адаптивного звукового содержимого на основе объектов, для синхронизации кадров адаптивного звукового содержимого на основе объектов с соответствующими кадрами многоканального звукового содержимого;
сравнивают идентификатор дорожки и счетчик кадров текущего кадра принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров, обеспеченным с текущим кадром многоканального звукового содержимого; и
представляют данные и проигрывают адаптивное звуковое содержимое на основе объектов при совпадении идентификатора дорожки и номера кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и номером кадров, связанными с многоканальным звуковым содержимым, и в противном случае - проигрывание многоканального звукового содержимого.

19. Способ по п.18, отличающийся тем, что многоканальное звуковое содержимое содержит содержимое для цифровой кинематографии, содержащее звук на основе каналов для проигрывания через аудиосистему окружающего звука, содержащую громкоговорители окружающего звука, расположенные в определенной окружающей конфигурации, и ряд дополнительных громкоговорителей, расположенных в помещении, определяющем среду проигрывания звука.

20. Способ по п.19, отличающийся тем, что адаптивное звуковое содержимое на основе объектов содержит звуковые сигналы на основе объектов и метаданные, содержащие информацию трехмерного местоположения, определяющую местоположение в трехмерном пространстве, из которого предполагается испускание соответствующих сигналов из числа звуковых сигналов на основе объектов в среде проигрывания, содержащей аудиосистему окружающего звука.

21. Способ по п.20, отличающийся тем, что дополнительно включает этапы, на которых:
плавно понижают уровень проигрывания звука через аудиосистему окружающего звука при несовпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров, закодированными в многоканальном звуковом содержимом; и
плавно повышают уровень многоканального звукового содержимого до тех пор, пока идентификатор дорожки и счетчик кадров принятого адаптивного звукового содержимого на основе объектов не совпадают с номером кадров, связанным с многоканальным звуковым содержимым.

22. Способ обработки звуковых сигналов, включающий этапы, на которых:
генерируют многоканальное звуковое содержимое, содержащее звуковые сигналы на основе каналов и информацию проигрывания, определяющую громкоговорители массива громкоговорителей, через которые подлежат проигрыванию соответствующие каналы звуковых сигналов на основе каналов;
генерируют адаптивное звуковое содержимое, содержащее звуковые сигналы на основе объектов и информацию представления данных трехмерного местоположения для звуковых сигналов на основе объектов;
предоставляют сигнал синхронизации вместе с многоканальным звуковым содержимым с целью синхронизации проигрывания звуковых сигналов на основе объектов относительно видеосодержимого, подлежащего проигрыванию с многоканальным звуковым содержимым или адаптивным звуковым содержимым; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым; и
реализуют процесс переключения для проигрывания текущего кадра звуковых сигналов на основе каналов с видеосодержимым при несовпадении в результате сравнения идентификатора дорожки и информации счетчика кадров текущего кадра адаптивного звукового содержимого, содержащихся в сигнале синхронизации, с идентификатором дорожки и информацией счетчика каналов текущего кадра адаптивного звукового содержимого.

23. Способ по п.22, отличающийся тем, что процесс переключения включает этапы, на которых:
плавно понижают уровень звуковых сигналов на основе объектов до достижения порога молчания; и
плавно повышают уровень звуковых сигналов на основе каналов.

24. Способ по п.23, отличающийся тем, что при совпадении идентификатора дорожки и информации счетчика кадров в сигнале синхронизации с идентификатором дорожки и информацией счетчика кадров для принятого впоследствии звукового сигнала на основе объектов процесс переключения дополнительно включает этапы, на которых:
плавно понижают уровень звуковых сигналов на основе каналов; и
плавно повышают уровень последующих звуковых сигналов на основе объектов.

25. Способ по п.22, отличающийся тем, что сигнал синхронизации содержит идентификатор дорожки и информацию счетчика кадров для текущей дорожки адаптивного звукового содержимого.

26. Способ по п.25, отличающийся тем, что сигнал синхронизации включен как часть входного аудиовизуального сигнала, содержащего видеосодержимое, многоканальное звуковое содержимое и адаптивное звуковое содержимое.

27. Способ по п.22, отличающийся тем, что альтернативно сигнал синхронизации автоматически генерируют компонентом мультимедийного блока, форматирующим многоканальный звук в соответствии со стандартом передачи цифровых звуковых сигналов с целью получения звукового содержимого в реальном времени.