СИНХРОНИЗАЦИЯ СОБЫТИЙ ПОКАЗА СЛАЙДОВ С АУДИО Российский патент 2012 года по МПК G06F17/00 

Уровень техники

Прикладные программы презентаций обеспечивают функцию создания и доставки аудиовизуальных презентаций. Обычно презентации представляются в виде одного или более презентационных слайдов. Каждый презентационный слайд может включать в себя ряд объектов, таких как текст, фотографии, списки, таблицы, карты, формы, клипы, фильмы и другое. Презентационные слайды могут отображаться на экране и управляться командами пользователя для доставки презентации.

Множество прикладных программ презентаций обеспечивают функцию анимации и применения визуальных эффектов к объектам на каждом слайде презентации и для анимации и применения визуальных эффектов к переходам между слайдами презентации. Например, используя функцию, предоставленную обычными прикладными программами презентаций, пользователь может определять путь перемещения для объекта на слайде презентации. Когда слайд презентации отображается, прикладная программа презентации будет побуждать объект анимироваться по определенному пути перемещения. Пользователь может вручную определять другие типы анимации и свойства визуальных эффектов, которые применяются к презентационному объекту аналогичным образом.

Множество прикладных программ презентаций также предоставляют функцию воспроизведения аудиофайлов во время презентации. Однако традиционно пользователю сложно синхронизировать события анимации в презентации в интересующие временные точки в аудиофайле. Например, пользователь может хотеть воспроизводить анимацию текста и графиков в презентации для возникновения в качестве основного ритма аудиофайла. Пользователи ранее достигали этого результата посредством повторного прослушивания аудиофайла для определения интересующих аудиособытий в аудиофайле и затем ручного назначения начального времени событий показов слайдов с определенными вручную аудиособытиями. Это утомительно, и такой процесс, занимающий время, расстраивает пользователей и, во многих случаях, обеспечивает результаты, которые являются менее идеальными.

Описание представляется в отношении этих обсуждений и других, чье раскрытие сделано здесь.

Сущность изобретения

Здесь описываются методы синхронизации событий показа слайдов с аудио. В частности, через использование методов и концепций, представленных здесь, аудиособытия в аудиофайлах могут определяться в автоматическом виде. Например, основной ритм, бесшумные переходы или инструментальные переходы в аудиофайле могут определяться. Определенные аудиособытия затем так же автоматически синхронизируются с событиями показа слайдов, такими как анимации, визуальные эффекты и переходы слайдов. Таким образом, аудиособытия могут легко синхронизироваться с событиями показа слайдов без запрашивания пользователя вручную определять аудиособытия или вручную синхронизировать аудиособытия с событиями показа слайдов.

В соответствии с одним аспектом, представленным здесь, принимаются данные, определяющие одно или более событий анимации, переходов слайдов или визуальных эффектов. Например, пользователь может использовать графический пользовательский интерфейс для определения этих событий. Пользователь может также конкретизировать аудиофайл, воспроизводимый во время представления определенных событий. Аудиофайл обрабатывается для определения аудиособытий, содержащихся в нем. Аудиособытия представляют временную точку, в которой любое важное слышимое событие воспроизводится в аудиофайле, такое как ритм, инструментальные переходы, бесшумные переходы и другие. В соответствии с одним аспектом аудиособытия определяются посредством размещения аудиовступления в аудиофайле. Аудиовступления являются временными точками в аудиофайле, в которых уровень аудиоэнергии при конкретной частоте выше или ниже определенного порога. Расположенные аудиовступления могут фильтроваться для обеспечения соответствующего числа аудиособытий для синхронизации.

Если определены аудиособытия в аудиофайлах, определенные события анимации синхронизируются с определенными аудиособытиями, используя схему синхронизации аудио. Схема синхронизации аудио является «набором параметров», который включает в себя данные, определяющие, как аудиособытия синхронизируются с событиями анимации. Например, в соответствии с вариантами осуществления данные в схеме синхронизации аудио определяют сдвиг между каждым аудиособытием и соответствующим событием анимации. Таким образом, команды могут обеспечиваться для того, чтобы запускать события анимации до того как, в то самое время как или после возникновения аудиособытия.

В других вариантах осуществления данные в схеме аудиосинхронизации определяют, будет ли каждое аудиособытие синхронизироваться с началом или концом соответствующего события анимации. Данные могут также определять, все или поднабор аудиособытий будут синхронизироваться с событиями анимации. Например, использование таких данных каждого четвертого аудиособытия может синхронизироваться с событием анимации. Данные могут также конкретизировать, как выбирается поднабор аудиособытий. Другие типы команд могут также аналогично обеспечиваться в схеме аудиосинхронизации, которая определяет, как аудиособытия синхронизируются с событиями анимации.

Через определение множества схем синхронизации аудио различные «настроения» могут создаваться для синхронизации событий анимации с аудио. В одном варианте осуществления обеспечивается пользовательский интерфейс галереи настроений, который позволяет пользователю выбирать схему аудиосинхронизации, применяемую к презентации. Схемы аудиосинхронизации могут определять названия, которые описывают «настроения», которые они доставляют, когда применяются к презентации. Например, могут определяться схемы аудиосинхронизации, которые доставляют радостное или побуждающее настроение.

В соответствии с другими вариантами осуществления также обеспечивается пользовательский интерфейс, который отображает временную диаграмму аудиофайла на временной шкале. Индикаторы, соответствующие определенным аудиособытиям, также отображаются на временной диаграмме. Пользовательский интерфейс также позволяет пользователю вручную связывать события анимации с аудиособытиями, показанными на временной диаграмме. Например, используя соответствующее пользовательское устройство ввода, пользователь может перемещать объект, соответствующий анимации, по временной шкале. В соответствии с этим начальное и/или конечное время события анимации будет фиксироваться с индикаторами, соответствующими аудиособытиям, показанным на временной диаграмме. Таким образом, пользовательский интерфейс, представленный здесь, позволяет пользователю визуально связывать событие анимации с аудиособытием, определенным в аудиофайле.

Будет очевидно, что хотя признаки, представленные здесь, описываются в контексте прикладной программы презентации, эти признаки могут использоваться с любым типом компьютерных программ, которые предоставляют функциональные возможности для воспроизведения аудиофонограммы, пока анимируются объекты, воспроизводятся визуальные эффекты или отображаются переходы. Будет также очевидно, что описанный выше объект может также реализовываться в качестве машинно-управляемого устройства, компьютерного процесса, компьютерной системы или изделия производства, такого как машиночитаемый носитель. Эти и различные другие признаки будут очевидны из прочтения последующего Подробного описания и просмотра связанных чертежей.

Этот раздел Сущность изобретения обеспечивается для представления выбора концепций в упрощенной форме, которые дополнительно описываются ниже в разделе Подробное описание. Этот раздел Сущность изобретения не предназначен для определения ключевых признаков или существенных признаков заявленного объекта, также не предназначается для того, чтобы этот раздел Сущность изобретения использовался для ограничения объема заявленного объекта. Кроме того, заявленный объект не ограничивается реализациями, которые решают любые или все недостатки, указанные здесь в любой части этого раскрытия.

Краткое описание чертежей

Фиг.1 - блок-схема программной архитектуры, показывающей аспекты прикладной программы презентации, обеспеченной в одной реализации, представленной здесь;

фиг.2 - блок-схема, показывающая иллюстративный алгоритм синхронизации событий показа слайдов в одном варианте осуществления, описанном здесь;

фиг.3 - блок-схема пользовательского интерфейса, показывающая иллюстративную галерею настроений, с помощью которой пользователь может выбирать схему аудиосинхронизации, в одном варианте осуществления, представленном здесь;

фиг.4 - блок-схема, показывающая иллюстративный процесс определения аудиособытий в аудиофайле в соответствии с одним вариантом осуществления, представленным здесь;

фиг.5 - блок-схема программной архитектуры, показывающая аспекты программной архитектуры для определения аудиовступлений в аудиофайле в одном варианте осуществления, представленном здесь;

фиг.6 - блок-схема программной архитектуры, показывающей аспекты детектора вступления, обеспеченного и используемого в одном варианте осуществления, представленном здесь;

фиг.7 - блок-схема пользовательского интерфейса, показывающая иллюстративный пользовательский интерфейс для просмотра аудиособытий в аудиофайле и ручного назначения аудиособытий для событий показа слайдов в документе презентации, в соответствии с одним вариантом осуществления; и

фиг.8 - блок-схема компьютерной архитектуры, показывающая иллюстративную компьютерную аппаратуру и программную архитектуру для компьютерной системы, способной реализовать варианты осуществления, представленные здесь.

Подробное описание

Следующее подробное описание направлено на методы синхронизации событий показа слайдов с аудиособытиями. Посредством использования вариантов осуществления, представленных здесь, аудиособытия в аудиофайле могут автоматически определяться и синхронизироваться с событиями показа слайдов, такими как анимации, визуальные эффекты и переходы слайдов, без необходимости пользователю вручную определять аудиособытия или вручную синхронизировать аудиособытия с событиями показа слайдов. Дополнительные подробности в отношении различных вариантов осуществления, представленных здесь, будут обеспечиваться ниже со ссылкой на фиг.1-8.

Хотя объект, описанный здесь, представляется в общем контексте программных модулей, которые выполняются в связи с выполнением операционной системы и прикладных программ на компьютере, специалисту в уровне техники будет понятно, что другие реализации могут выполняться путем объединения с другими типами программных модулей. Обычно программные модули включают в себя встроенные программы, программы, компоненты, структуры данных и другие типы структур, которые выполняют конкретные задания или реализуют конкретные абстрактные типы данных. Кроме того, специалисту в уровне техники будет очевидно, что объект, описанный здесь, может быть применен с другими конфигурациями компьютерных систем, включая ручные устройства, многопроцессорные системы, микропроцессорные или программируемые пользователем электронные устройства, мини-компьютеры, центральные компьютеры и т.д.

В последующем подробном описании ссылки делаются на сопровождающие чертежи, которые формируют его часть и которые показываются посредством иллюстративных конкретных вариантов осуществления или примеров. Теперь со ссылкой на чертежи, на которых одинаковыми цифровыми позициями представлены одинаковые элементы на нескольких чертежах, будут описаны аспекты компьютерной системы и методология синхронизации событий показа слайдов и аудиособытий.

Теперь, обращаясь к фиг.1, будут предоставлены подробности в отношении одного варианта осуществления, представленного здесь, для синхронизации событий показа слайдов с аудиособытиями. В частности, фиг.1 показывает аспекты программной архитектуры, используемой для синхронизации событий показа слайдов, в соответствии с одним вариантом осуществления, представленным здесь. Как показано на фиг.1, варианты осуществления, представленные здесь, описываются в контексте прикладной программы 102 презентации. Прикладная программа 102 презентации обеспечивает функцию создания и доставки аудиовизуальных презентаций. Обычно презентации представлены в виде одного или более слайдов 106А-106С презентации, содержащихся в документе 104 презентации. Каждый слайд 106А-106С презентации может включать в себя ряд объектов 108А-108С, таких как текст, фотографии, списки, таблицы, карты, формы, иллюстрации и фильмы. Могут использоваться другие типы аудиовизуальных объектов. Слайды 106А-106С презентации могут отображаться на экране компьютерного дисплея и перемещаться по командам пользователя для доставки презентации, определенной в документе 104 презентации.

Прикладная программа 102 презентации также включает в себя функцию анимации и применения визуальных эффектов к объектам 108А-108С и для переходов между слайдами 106А-106С презентации. Например, пользователь может использовать функцию, обеспеченную прикладной программой 102 презентации, для создания событий 107А-107С анимации для объектов 108А-108С. События 107А-107С анимации, показанные на фиг.1, побуждают объекты 108А-108С перемещаться по пути перемещения. Будет очевидно, однако, что другие типы двумерной или трехмерной анимации могут также определяться. Аналогично, визуальные эффекты могут применяться к объектам 108А-108С. Например, визуальные эффекты могут определяться, чтобы побудить объекты 108А-108С плавно нарастать/плавно исчезать или рассеиваться. Эффекты переходов могут также определяться, чтобы побуждать эффекты анимации или визуальные эффекты отображаться во время переключения или перехода между двумя слайдами 106А-106С презентации. События показа слайдов включают в себя события анимации, визуальные эффекты, события перехода и любые другие типы визуального события, которые могут определяться в прикладной программе презентации.

В одном варианте осуществления прикладная программа 102 презентации также включает в себя функцию синхронизации аудиособытий в аудиофайле 114 с определенными событиями показа слайдов. Для обеспечения этой функции прикладная программа 102 презентации включает в себя компонент 112 синхронизации аудио, который выполняет обработку для определения аудиособытий в аудиофайле 114. Этот процесс будет описан ниже со ссылкой на фиг.4-6. Прикладная программа 102 презентации также обеспечивает функцию синхронизации определенных аудиособытий с событиями показа слайдов, определенных в документе 104 презентации. В этой связи прикладная программа 102 презентации также обеспечивает пользовательский интерфейс для предоставления возможности пользователю вручную управлять синхронизацией аудиособытий и событий показа слайдов, сформированных компонентом 112 аудиосинхронизации. Подробности в отношении этого пользовательского интерфейса будут предоставлены ниже со ссылкой на фиг.7.

В соответствии с различными вариантами, представленными здесь, компонент 112 аудиосинхронизации использует схему 110А аудиосинхронизации для определения того, как аудиособытия будут синхронизироваться с событиями показа слайдов. Схема 110А аудиосинхронизации является «набором параметров», который содержит данные, определяющие, как аудиособытия синхронизируются с событиями показа слайдов. Например, в соответствии с вариантами осуществления данные в схеме 110А аудиосинхронизации определяют сдвиг между аудиособытием и соответствующим событием анимации. Таким образом, команды могут обеспечиваться для того, чтобы запускать событие показа слайдов до, одновременно или после возникновения аудиособытия.

В других вариантах осуществления данные в схеме 110А синхронизации аудио определяют, будет ли синхронизироваться каждое аудиособытие с началом или концом соответствующего события анимации. Данные могут также определять, все ли или поднабор аудиособытий будут синхронизироваться с событиями анимации. Например, используя такие данные, каждое четвертое аудиособытие может синхронизироваться с событием анимации. Данные могут также определять, как выбирается поднабор аудиособытий. Другие типы команд могут аналогично предоставляться в схеме 110А синхронизации аудио, которые определяют, как аудиособытия синхронизируются с событиями анимации.

Благодаря определению множества схем 110А-110С синхронизации аудио, различные «настроения» могут создаваться для синхронизации событий анимации с аудио. В одном варианте осуществления предоставляется пользовательский интерфейс галереи настроений, который предоставляет возможность пользователю выбирать одну из схем 110А-110С аудиосинхронизации, применяемую к документу 104 презентации. Схемы 110А-110С аудиосинхронизации могут определять названия, которые описывают «настроения», которые они передают, когда применяются к презентации. Например, схемы аудиосинхронизации могут определяться для того, чтобы передавать радостное или побуждающее настроение. Дополнительные подробности в отношении пользовательского интерфейса галереи предпочтений будут предоставляться ниже со ссылкой на фиг.3.

Теперь со ссылкой на фиг.2 будут предоставляться дополнительные подробности в отношении вариантов осуществления, представленных здесь, для синхронизации событий показа слайдов. В частности, фиг.2 показывает блок-схему, описывающую алгоритм 200 синхронизации событий показа слайдов с аудиособытиями. Будет очевидно, что логические операции, описанные здесь, реализуются (1) как последовательность реализуемых компьютером действий или программных модулей, выполняемых на компьютерной системе, и/или (2) как взаимосвязанные машинные логические схемы или схемные модули в компьютерной системе. Вариант осуществления является предметом выбора в зависимости от исполнения и других требований компьютерной системы. Соответственно, логические операции, описанные здесь, упоминаются по-разному, например как операции, структурные устройства, действия или модули. Эти операции, структурные устройства, действия и модули могут реализовываться программно, встроенной программой, цифровой логикой для специальных целей и любой их комбинацией. Будет также очевидно, что больше или меньше операций может выполняться иначе, чем показано на фигурах и описано здесь. Эти операции могут также выполняться в ином порядке, чем тот, который описан здесь.

Алгоритм 200 начинается на операции 202, где пользователь определяет события показа слайдов в презентации. Например, используя функцию, предоставленную прикладной программой 102 презентации, пользователь может определить события анимации, визуальные эффекты, события переходов или другие типы событий в отношении объектов 108А-108С или слайдов 106А-106С презентации. Если пользователь создал желаемые события показа слайдов, алгоритм 200 переходит от операции 202 к операции 204.

На операции 204 прикладная программа 102 презентации принимает выбор аудиофайла 114. Например, в одном варианте осуществления пользователь может определять аудиофайл 114, воспроизводимый во время презентации событий показа слайдов, определенных в операции 202, указанной выше. Аудиофайл 114 может форматироваться в качестве стандартного WAV аудиофайла, MP3 аудиофайла или может форматироваться, используя другой тип аудиоформата. Будет также очевидно, что аудиофайл 114 может содержаться в другом типе файла. Например, аудиофайл 114 может содержать данные аудио, содержащиеся в видеофайле. В таком варианте осуществления аспекты, представленные здесь, могут использоваться для синхронизации событий показа слайдов с аудиособытиями в видеофайле. Это также позволяет синхронизацию эффектов, переходов и других типов функций, которые применяются к видеофайлу с аудиоданными, содержащимися здесь.

Если пользователь выбрал аудиофайл 114, который синхронизируется с событиями показа слайдов, алгоритм 202 продолжается на операции 206. На операции 206 пользователю предлагается выбрать одну из схем 110А-110С аудиосинхронизации, используемой для синхронизации аудиособытий в аудиофайле 114 с определенными событиями показа слайдов. В соответствии с одним вариантом осуществления пользовательский интерфейс 300 галереи «настроений», показанный на фиг.3, представляется для обеспечения возможности пользователю выбрать желаемую схему 110 синхронизации аудио. Как показано на фиг.3, пользовательский интерфейс 300 галереи «настроений» включает в себя ряд кнопок 302А-302F пользовательского интерфейса, каждая кнопка 302 соответствует конкретной схеме 110 аудиосинхронизации.

В одном варианте осуществления схемы 110А-110С аудиосинхронизации создаются для того, чтобы передавать различные «настроения» для синхронизации событий анимации с аудио. Схемы 110А-110С аудиосинхронизации также определяют названия, которые описывают «настроения», которые они передают, когда применяются к презентации. Эти названия могут отражаться на кнопках 302А-302F, которые соответствуют каждой схеме аудиосинхронизации. Например, кнопка 302А соответствует схеме аудиосинхронизации, которая, когда применяется к презентации, будет побуждать события показа слайдов, определенные здесь, синхронизироваться с аудиособытиями в аудиофайле 114 нужным образом. Пользователь использует соответствующее пользовательское устройство ввода для выбора одной из кнопок 302А-302F и соответствующую схему 110 аудиосинхронизации.

Снова обращаясь к фиг.2, если схема 110 аудиосинхронизации выбрана на операции 206, алгоритм 200 переходит на операцию 208. На операции 208 определяются аудиособытия в выбранном аудиофайле 114. Подробности в отношении одного проиллюстрированного процесса определения интересующих аудиособытий в аудиофайле 114 предоставляются ниже в отношении фиг.4-6. Если определены аудиособытия в аудиофайле 114, алгоритм 200 переходит с операции 210 на операцию 212.

На операции 212 компонент 112 аудиосинхронизации синхронизирует события показа слайдов, определенных выше на операции 202, с аудиособытиями, определенными на операции 208. В частности, в соответствии с одним вариантом осуществления компонент 112 аудиосинхронизации регулирует синхронность определенных событий показа слайдов с соответствующими определенными аудиособытиями. В одном варианте осуществления это выполняется с использованием схемы 110 аудиосинхронизации, выбранной на операции 206, указанной выше. На основе контентов схемы 110 аудиосинхронизации аудиособытия могут синхронизироваться с началом или концом соответствующего события показа слайдов, все или поднабор аудиособытий могут синхронизироваться с событиями показа слайдов, или другие модификации могут делаться для того, как события показа слайдов синхронизируются с аудиособытиями для предоставления желаемого «настроения».

Если события показа слайдов синхронизированы с определенными аудиособытиями, алгоритм 200 переходит на операцию 212, где пользователю предоставляется возможность вручную регулировать синхронизацию, выполняемую компонентом аудиосинхронизации. Например, в одном варианте осуществления предоставляется пользовательский интерфейс, через который пользователь может вручную регулировать синхронизацию между событиями показа слайдов и аудиособытиями. Один иллюстративный пользовательский интерфейс для выполнения этого процесса описывается ниже в отношении фиг.7. Если пользователь сделал какие-либо регулирования, аудиофайл 114 и события показа слайдов могут воспроизводиться синхронно. С операции 212 алгоритм 200 переходит на операцию 214, где он заканчивается.

Фиг.4 показывает в общих чертах один иллюстративный процесс, обеспеченный здесь, для определения одного или более аудиособытий 410 в аудиофайле 114. Как кратко обсуждалось выше, аудиособытия 410 представляют временные точки, в которых располагаются важные аудиособытия в аудиофайле, такие как ритм, инструментальные переходы, бесшумные переходы и другие. Аудиособытия 410 определяются посредством выполнения процесса 404 определения аудиовступления, который размещает аудиовступления 406 в аудиофайле 114. Аудиовступления 406 являются временными точками в аудиофайле, в которые уровень энергии аудио для конкретной частоты выше или ниже определенного порога. Подробности в отношении иллюстративного процесса 404 определения аудиовступления в одном варианте осуществления будут представлены ниже в отношении фиг.5-6.

В одном варианте осуществления процесс 408 фильтрации используется для фильтрации размещенных аудиовступлений 406 для представления соответствующего числа аудиособытий 410 для синхронизации. Причина состоит в том, что моменты необработанных аудиовступлений часто плотно размещаются в популярной музыке. Таким образом, аудиовступления 406, определенные процессом 404 определения аудиовступления, дополнительно обрабатываются процессом 408 фильтрации для выбора соответствующего поднабора аудиовступления 406 для процесса синхронизации. В соответствии с вариантами осуществления процесс 408 фильтрации может использовать средний интервал между аудиовступлениями 406, отклонение от средних интервалов, интенсивность аудиовступлений 406 или другие факторы для фильтрации аудиовступлений 406 в соответствующем количестве аудиособытий 410.

Теперь со ссылкой на фиг.5 будет описываться иллюстративная программная архитектура 502 для выполнения процесса 404 определения аудиовступления, упомянутого выше в отношении фиг.4. В одном варианте осуществления, показанном на фиг.5, аудиофайл 114 загружается и преобразуется в непрерывный поток непосредственных аудиовыборок в WAV аудиоформате. Это выполняется посредством класса 504 MEDIAGRAPH, который использует технологию MICROSOFT DIRECTSHOW для кодирования данных аудио в выборке временной диаграммы.

Выходное значение потока аудиовыборок посредством класса 504 MEDIAGRAPH передается в частотно-временной преобразователь 506, который выполняет Кратковременное Преобразование Фурье («STFT») выборок для получения потока частотного спектра. В одном варианте осуществления частотно-временной преобразователь 506 поддерживает буфер, который действует в качестве скользящего окна над потоком аудиовыборок. Когда буфер полный, частотно-временной преобразователь 506 сначала применяет функцию кадрирования данных для создания данных на обоих концах буфера приблизительно равными нулю. Затем применяется преобразование Фурье к кадрированным данным, используя алгоритм Быстрого Преобразования Фурье («FFT»). Буфер, действующий в качестве скользящего окна, затем сдвигается вперед для приема новых аудиовыборок.

Для компенсации ослабления энергии, в зависимости от прикладной программы функции кадрирования, скользящее окно не выполняет сдвиг вперед на размер полного буфера в одном варианте осуществления. Вместо этого коэффициент перекрытия может определяться для предоставления возможности частичного перемещения окна. В одном варианте осуществления частотно-временной преобразователь 506 использует следующие параметры: размер буфера в 2048 выборок; функцию кадрирования Хемминга; и коэффициент перекрытия, равный 0,5. Этот вариант осуществления также предоставляет возможность легкой настройки этих параметров. Например, функция кадрирования Ханна и коэффициент перекрытия, равный 0,75, могут использоваться взамен. Функции кадрирования Хемминга и Ханна известны специалисту в уровне техники.

Поток частотного спектра из частотно-временного преобразователя 506 преобразуется в потоки значений энергии, соответствующих нескольким поддиапазонам. Это выполняется посредством выравнивания величин ячеек выходных значений FFT, которые соответствуют каждому интервалу частотного поддиапазона, и совместного их суммирования. В варианте осуществления, показанном на фиг.5, имеются четыре поддиапазона: 22 Гц-256 Гц, 256 Гц-2048 Гц, 2048 Гц-8192 Гц и 8192 Гц-22050 Гц (принимая скорость аудиовыборки в 44100 Гц). Будет очевидно, что интервалы поддиапазонов могут изменяться для определения произвольных групп поддиапазонов.

Каждый из потоков значений энергии подается на соответствующий детектор 508А-508D вступлений. Каждый детектор 508А-508D вступлений создает список значений времени, аудиовступлений 406А-406D, в которых резко возникают изменения энергии, вместе с их соответствующими значениями энергии. Аггрегатор 510 аудиовступления объединяет эти вступления 406А-406D поддиапазонов в один набор аудиовступлений 406E. Дополнительные подробности в отношении работы детекторов 508А-508D вступлений предоставляются ниже в отношении фиг.6.

Теперь со ссылкой на фиг.6 дополнительные подробности будут предоставляться в отношении детектора 508 вступления. Как показано на фиг.6, каждый детектор 508 вступления включает в себя фильтр 602 источников. Фильтр 602 источников принимает потоки входных значений и присоединяет указания времени к значениям данных. Каждый детектор 508 вступления также включает в себя медианный фильтр 604. Медианный фильтр 604 принимает синхронизированный поток данных от фильтра 602 источника и вычисляет среднее скользящей медианы входных данных. Размер окна этой скользящей медианы является настраиваемым.

Выходное значение медианного фильтра 604 используется в качестве порогового графика для детектора 606 максимумов. Детектор 606 максимумов принимает выходное значение фильтра 602 источника в качестве его входных данных и выходное значение медианного фильтра 604 в качестве его входного порогового значения. Детектор 606 максимумов определяет максимумы среди данных, которые выше порога. Выходное значение детектора 606 максимума является выходным значением детектора 508 вступления. Должно быть очевидно, что программная архитектура и методология, описанные здесь со ссылкой на фиг.5-6, являются просто иллюстративными и другие технологии могут использоваться для определения аудиособытий 410 в аудиофайле 114.

Теперь со ссылкой на фиг.7 будет описываться иллюстративный пользовательский интерфейс 700 для просмотра аудиособытий в аудиофайле и ручного назначения аудиособытий для событий показа слайдов в документе презентации. Как показано на фиг.7, в одном варианте осуществления пользовательский интерфейс 700 включает в себя ряд полос 702А-702D. Полоса 702А предоставляет графическое представление содержаний аудиофайла 114 в форме временной диаграммы 704. Отображенный в связи с временной диаграммой 704 является одним или более индикаторами 706А-706G, которые соответствуют определенным аудиособытиям 410 в аудиофайле 114. Индикаторы 706А-706G графически представляют местоположения каждого определенного аудиособытия в аудиофайле 114.

Полосы 702B-702D графически представляют синхронизацию любых определенных событий показа слайдов. Например, в примере, показанном на фиг.7, объекты 708А-708C синхронизации событий показа слайдов отображаются в полосах 702А-702D, которые соответствуют трем событиям показа слайдов. Ширина каждого объекта 708А-708С синхронизации событий показа слайдов графически представляет интервал события.

Местоположение каждого объекта 708А-708С синхронизации событий показа слайдов по отношению к временной шкале 710 представляет время, в которое будет выполняться соответствующее событие показа слайдов. В примере, показанном на фиг.7, объект 708А синхронизации событий выравнивается с индикатором 706В, таким образом указывая, что соответствующее событие показа слайдов будет запускаться во время события аудио, соответствующего индикатору 706B. Объект 708B синхронизации события выравнивается с индикатором 706D, таким образом указывая, что соответствующее событие показа слайда будет запускаться во время аудиособытия, соответствующего индикатору 706D. Объект 708С синхронизации события выравнивается с индикатором 706F, таким образом указывая, что соответствующее событие показа слайдов будет запускаться во время аудиособытия, соответствующего индикатору 706F. Будет очевидно поэтому, что пользовательский интерфейс 700 предоставляет графический просмотр того, как аудиособытия синхронизированы с событиями показа слайдов посредством компонента 112 аудиосинхронизации.

В соответствии с одним вариантом осуществления пользовательский интерфейс 700, показанный на фиг.7, также предоставляет функцию для предоставления возможности пользователю вручную регулировать синхронизацию событий показа слайдов с аудиособытиями, представленными на временной диаграмме 704. Например, используя соответствующее пользовательское устройство ввода, пользователь может перемещать один из объектов 708А-708С синхронизации событий по временной шкале 710. В ответ на это начальное время и/или время окончания объекта синхронизации событий будет «фиксироваться» на индикаторах 706А-706G, соответствующих аудиособытиям, показанным на временной диаграмме 704. Таким образом, пользовательский интерфейс 700, предоставленный здесь, позволяет пользователю визуально связывать событие показа слайдов с аудиособытием 410, определенным в аудиофайле 114. Будет очевидно, что пользовательский интерфейс 700, показанный на фиг.7, является только иллюстративным и другие типы реализации пользовательских интерфейсов могут использоваться для обеспечения этой функции.

Фиг.8 показывает иллюстративную компьютерную архитектуру для компьютера 800, способного выполнять программные компоненты, описанные здесь, для синхронизации событий показа слайдов с аудиособытиями таким образом, который представлен выше. Компьютерная архитектура, показанная на фиг.8, показывает обычный настольный компьютер, портативный компьютер или серверный компьютер и может использоваться для выполнения любых аспектов прикладной программы 102 презентации, описанной здесь. Как указано выше, компьютер 800 может также выполнять другие типы прикладных программ, которые реализуют концепции, представленные здесь, для синхронизации событий анимации, визуальных эффектов или переходов с аудиособытиями.

Компьютерная архитектура, показанная на фиг.8, включает в себя центральный процессор 802 («CPU»), системную память 808, включающую в себя оперативную память 814 («RAM») и постоянную память 816 («ROM»), и системную шину 804, которая соединяет память с CPU 802. Система базового ввода/вывода, содержащая основные встроенные программы, которые помогают передавать информацию между элементами в компьютере 800, например, как во время запуска, сохраняется в ROM 816. Компьютер 800, кроме того, включает в себя массовое запоминающее устройство 810 для хранения операционной системы 818, прикладных программ и других программных модулей, которые описаны подробно здесь.

Массовое запоминающее устройство 810 соединяется с CPU 802 через контроллер массового запоминающего устройства (не показан), связанный с шиной 804. Массовое запоминающее устройство 810 и связанный с ним машиночитаемый носитель обеспечивают энергонезависимое запоминающее устройство для компьютера 800. Несмотря на то что описание машиночитаемого носителя, содержащегося здесь, относится к массовому запоминающему устройству, такому как жесткий диск или CD-ROM, будет очевидно специалисту в уровне техники, что машиночитаемый носитель может быть любым доступным машиночитаемым носителем, который может быть доступен компьютеру 800.

В качестве примера и не ограничения, машиночитаемый носитель может включать в себя энергозависимый и энергонезависимый, сменный и постоянный носитель, реализуемый любым способом или технологией для хранения информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные. Например, машиночитаемый носитель включает в себя, но не ограничивает, RAM, ROM, EPROM, EEPROM, флеш-память или другие технологии твердотельной памяти, CD-ROM, цифровые универсальные диски («DVD»), HD-DVD, BLU-RAY, или другое оптическое запоминающее устройство, магнитные кассеты, магнитную ленту, магнитный диск, или другие магнитные запоминающие устройства, или любые другие носители, которые могут использоваться для хранения желаемой информации и которые могут быть доступны компьютеру 800.

В соответствии с разными вариантами осуществления компьютер 800 может работать в сетевой среде, используя логические соединения с удаленными компьютерами через сеть, такую как сеть 820. Компьютер 800 может соединяться с сетью 820 через блок 806 сетевого интерфейса, связанного с шиной 804. Будет очевидно, что блок 806 сетевого интерфейса может также использоваться для связи с другими типами сетей и удаленными компьютерными системами. Компьютер 800 может также включать в себя контроллер 812 ввода/вывода для приема и обработки входных данных от ряда других устройств, включая клавиатуру, мышь или электронный стилус (не показаны на фиг.8). Аналогично контроллер ввода/вывода может предоставлять выходные данные на экран дисплея, принтер или другие типы выходных устройств (также не показаны на фиг.8).

Как кратко указано выше, ряд программных модулей и файлы данных могут сохраняться в массовом запоминающем устройстве 810 и RAM 814 компьютера 800, включая операционную систему 818, подходящую для управления работой сетевого настольного компьютера, переносного компьютера или серверного компьютера. Массовое запоминающее устройство 810 и RAM 814 могут хранить также один или более программных модулей. В частности, массовое запоминающее устройство 810 и RAM 814 могут хранить прикладную программу 102 презентации, которая предоставляет функцию, описанную здесь, для синхронизации событий показа слайдов с аудиособытиями. Массовое запоминающее устройство 810 и RAM 814 могут также сохранять схемы 110 аудиосинхронизации и документ 104 презентации, оба из которых описаны выше.

На основе вышеупомянутого будет очевидно, что здесь предоставлены методы для синхронизации событий показа слайдов с аудиособытиями. Хотя объект, представленный здесь, описан на языке, определенном для компьютерных структурных признаков, методологических действий и машиночитаемого носителя, будет понятно, что изобретение, определенное в приложенной формуле, не обязательно ограничивается конкретными признаками, действиями или носителями, описанными здесь. Скорее, конкретные признаки, действия и носители описываются как примерные формы реализации формулы.

Объект, описанный выше, предоставляется только посредством иллюстрации, и не следует истолковывать его как ограничение. Различные модификации и изменения могут делаться в объекте, описанном здесь, без следующих примерных вариантов осуществления и показанных и описанных прикладных программ и без отхода от сущности и объема настоящего изобретения, который устанавливается в последующей формуле.

Изобретение относится к области синхронизации событий показа слайдов с аудио. Техническим результатом является упрощение синхронизации событий анимации в презентации в интересующие временные точки в аудиофайле. Принимаются данные, определяющие одно или более событий анимации, переходы слайдов или визуальные эффекты и аудиофайлы, воспроизводимые во время определенных событий. Аудиофайл обрабатывается для определения аудиособытий, содержащихся в нем. Если определены аудиособытия в аудиофайле, определенные события анимации синхронизируются с определенными аудиособытиями, используя схему аудиосинхронизации, которая включает в себя данные, определяющие, как аудиособытия синхронизируются с событиями анимации. Пользовательский интерфейс может обеспечиваться для предоставления пользователю возможности выбирать схему аудиосинхронизации, применяемую к презентации. Пользовательский интерфейс может также обеспечиваться для предоставления пользователю возможности визуально связывать события анимации с любым аудиособытием, определенным в аудиофайле. 3 н. и 15 з.п. ф-лы, 8 ил.

1. Способ синхронизации одного или более событий анимации с одним или более аудиособытиями, содержащий этапы, на которых:
принимают данные, определяющие события анимации;
принимают выбор аудиофайла;
обрабатывают выбранный аудиофайл для определения аудиособытий;
определяют, должны ли аудиособытия синхронизироваться с событиями анимации;
принимают выбор одной из множества схем синхронизации аудио, причем каждая из схем синхронизации аудио содержит данные, определяющие, как аудиособытия должны синхронизироваться с событиями анимации;
определяют, должно ли каждое аудиособытие синхронизироваться с началом или с концом соответствующего события анимации; и
используют выбранную схему синхронизации для регулирования временных характеристик событий анимации, так чтобы они соответствовали упомянутым определенным аудиособытиям, тем самым синхронизируя события анимации с упомянутыми определенными аудиособытиями.

2. Способ по п.1, в котором при обработке выбранных аудиофайлов для определения аудиособытий обрабатывают аудиофайл для определения одного или более аудиовступлений, содержащихся в нем, и фильтруют аудиовступления для определения аудиособытий, при этом аудиовступления представляют собой моменты времени в аудиофайле, в которые уровень звуковой энергии на конкретной частоте превосходит заданный порог или падает ниже заданного порога.

3. Способ по п.1, в котором каждая из множества схем синхронизации аудио сконфигурирована создавать разное настроение при использовании для синхронизации событий анимации с упомянутыми определенными аудиособытиями.

4. Способ по п.1, в котором каждая из множества схем синхронизации аудио дополнительно содержит данные, определяющие сдвиг между каждым аудиособытием и соответствующим событием анимации.

5. Способ по п.2, дополнительно содержащий этапы, на которых:
отображают графический пользовательский интерфейс, содержащий первую полосу, в которой отображается временная диаграмма, представляющая аудиофайл, и в которой на временной диаграмме отображаются один или более индикаторов, соответствующие упомянутым определенным аудиособытиям; и
отображают одну или более дополнительных полос в графическом пользовательском интерфейсе, причем каждая из этих дополнительных полос соответствует одному из событий анимации и в ней отображается по меньшей мере один объект, соответствующий событию анимации, при это ширина каждого объекта соответствует длительности соответствующего события анимации.

6. Способ синхронизации одного или более событий показа слайдов, определенных в документе презентации, с одним или более аудиособытиями, содержащий этапы, на которых:
принимают пользовательский ввод, определяющий события показа слайдов в прикладной программе презентации;
принимают выбор аудиофайла;
определяют, должны ли аудиособытия синхронизироваться с событиями показа слайдов;
принимают выбор одной из множества схем синхронизации аудио, причем каждая из схем синхронизации аудио содержит данные, определяющие, как аудиособытия должны синхронизироваться с событиями показа слайдов;
определяют, должно ли каждое аудиособытие синхронизироваться с началом или с концом соответствующего события показа слайдов;
принимают запрос синхронизировать события показа слайдов с аудиособытиями в выбранном аудиофайле с использованием выбранной схемы синхронизации аудио;
в ответ на прием запроса обрабатывают выбранный аудиофайл для определения аудиособытий; и
используют выбранную схему синхронизации для регулирования временных характеристик событий показа слайдов, так чтобы они соответствовали упомянутым определенным аудиособытиям, тем самым синхронизируя события показа слайдов с упомянутыми определенными аудиособытиями.

7. Способ по п.6, в котором события показа слайдов содержат события анимации.

8. Способ по п.6, в котором события показа слайдов содержат переходы слайдов.

9. Способ по п.6, в котором события показа слайдов содержат применение визуальных эффектов к объектам в документе презентации.

10. Способ по п.6, дополнительно содержащий этапы, на которых:
отображают пользовательский интерфейс, содержащий временную диаграмму, представляющую аудиофайл; и
отображают на временной диаграмме один или более индикаторов, соответствующих упомянутым определенным аудиособытиям.

11. Способ по п.10, в котором пользовательский интерфейс дополнительно содержит объект времени событий показа слайдов, соответствующий каждому из событий показа слайдов, при этом каждый объект времени событий показа слайдов может быть привязан к индикатору, отображаемому на временной диаграмме.

12. Способ по п.11, в котором временная диаграмма отображается в первой полосе, при этом объекты времени событий показа слайдов отображаются в одной или более других полосах.

13. Способ по п.6, в котором каждая из множества схем синхронизации аудио сконфигурирована создавать разное настроение при использовании для синхронизации событий показа слайдов с упомянутыми определенными аудиособытиями.

14. Способ по п.6, в котором каждая из множества схем синхронизации аудио дополнительно содержит данные, определяющие сдвиг между каждым аудиособытием и соответствующим событием показа слайдов.

15. Машиночитаемый носитель, на котором сохранены машиноисполняемые команды, которые при их исполнении компьютером предписывают компьютеру:
сохранять множество схем синхронизации аудио, причем каждая из схем синхронизации аудио содержит данные, определяющие, как аудиособытия должны синхронизироваться с событиями анимации;
принимать данные, определяющие события анимации;
принимать выбор аудиофайла;
обрабатывать выбранный аудиофайл для определения аудиособытий;
принимать выбор одной из упомянутого множества схем синхронизации аудио;
принимать запрос синхронизировать события анимации с аудиособытиями, определенными в выбранном аудиофайле, с использованием выбранной схемы синхронизации аудио;
определять, должны ли аудиособытия синхронизироваться с событиями анимации;
определять, должно ли каждое аудиособытие синхронизироваться с началом или с концом соответствующего события анимации; и
в ответ на прием запроса использовать данные, хранящиеся в выбранной схеме синхронизации, для регулирования временных характеристик событий анимации, так чтобы они соответствовали упомянутым определенным аудиособытиям, тем самым синхронизируя события анимации с аудиособытиями.

16. Машиночитаемый носитель по п.15, в котором каждая из множества схем синхронизации аудио сконфигурирована создавать разное настроение при использовании для синхронизации событий анимации с упомянутыми определенными аудиособытиями.

17. Машиночитаемый носитель по п.15, в котором каждая из множества схем синхронизации аудио дополнительно содержит данные, определяющие сдвиг между каждым аудиособытием и соответствующим событием анимации.

18. Машиночитаемый носитель по п.15, на котором дополнительно сохранены машиноисполняемые команды, которые при их исполнении компьютером предписывают компьютеру:
отображать графический пользовательский интерфейс, содержащий первую полосу, в которой отображается временная диаграмма, представляющая аудиофайл, и в которой на временной диаграмме отображаются один или более индикаторов, соответствующие упомянутым определенным аудиособытиям; и
отображать одну или более дополнительных полос в графическом пользовательском интерфейсе, причем каждая из этих дополнительных полос соответствует одному из событий анимации и в ней отображается по меньшей мере один объект, соответствующий событию анимации, при этом ширина каждого объекта соответствует длительности соответствующего события анимации.