УСТРОЙСТВО И СПОСОБ ДЛЯ ВОСПРОИЗВЕДЕНИЯ АУДИО- И ВИДЕОДАННЫХ Российский патент 2008 года по МПК G11B20/10 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству и способу для воспроизведения аудио- и видеоданных (в дальнейшем обозначаемых как AV-данные) и носителю информации, на котором записана программа для выполнения способа воспроизведения, и, более конкретно, к управлению аудио- и видеоданными среди данных мультимедиа в формате MultiPhotoVideo (Мульти фото/видео) или MusicPhotoVideo (Музыка фото/видео) (оба из которых в дальнейшем обозначаются как 'MPV') и предоставлению их пользователям.

УРОВЕНЬ ТЕХНИКИ

MPV - это спецификация промышленного стандарта, посвященная наименованиям мультимедиа, опубликованная Ассоциацией по технологиям оптического хранения данных (в дальнейшем обозначаемой как 'OSTA'), международной торговой ассоциацией, учрежденной изготовителями оптических запоминающих устройств в 2002 году. А именно, MPV - это спецификация стандарта, созданная, чтобы в более удобном виде предоставлять множество музыкальных, фото- и видеоданных или чтобы управлять и обрабатывать данные мультимедиа. Определение MPV и других спецификаций стандарта доступны для использования через официальный web-сайт (www.osta.org) ассоциации OSTA.

В последнее время данные мультимедиа, включающие в себя цифровые изображения, видео, оцифрованный звук, текст и тому подобное, обрабатываются и воспроизводятся посредством персональных компьютеров (ПК). Часто использовались устройства для воспроизведения мультимедийного контента, например цифровые камеры, цифровые камкодеры, цифровые аудиоплееры (а именно, устройства воспроизведения оцифрованных звуковых данных, таких как аудиоформат Экспертной группы по кинематографии, 3-й уровень (MP3), звуковые файлы Windows (WMA) и так далее), и, соответственно, были созданы в большом количестве различные виды данных мультимедиа.

Однако для управления данными мультимедиа, создаваемыми в больших количествах, главным образом использовались персональные компьютеры; в этом отношении требовался опыт пользователя по работе с файлами. Дополнительно, когда данные мультимедиа создаются на определенном продукте, атрибуты данных, последовательности воспроизведения данных и способы воспроизведения данных создаются в зависимости от данных мультимедиа. Если доступ к данным осуществляется на персональном компьютере, атрибуты теряются, и передаются только исходные данные. Другими словами, существует очень слабая возможность взаимодействия относительно данных и атрибутов данных между бытовыми электроприборами, персональными компьютерами и устройствами воспроизведения цифрового контента.

Будет описан пример слабой возможности взаимодействия. Изображение захватывается с использованием цифровой камеры, и данные, такие как последовательность для слайд-шоу атрибутов, определяемая использованием функции слайд-шоу, чтобы идентифицировать захваченное изображение на цифровой камере, временные интервалы между изображениями, полученные отношения между изображениями, атрибуты которых определены с использованием функции панорамной съемки, и атрибуты, определенные с использованием функции последовательного фотографирования, сохраняются вместе с фактическими данными изображения как исходные данные. В это время, если цифровая камера передаст изображения на телевизор с использованием кабеля AV, пользователь сможет увидеть данные, у которых представлены соответствующие атрибуты. Однако, если доступ к цифровой камере осуществляется через персональный компьютер с использованием универсальной последовательной шины (USB), на компьютер передадутся только исходные данные, а соответствующие атрибуты изображений будут потеряны.

В приведенном выше описании показано, что возможность взаимодействия персонального компьютера для метаданных, таких как атрибуты данных, сохраненных в цифровой камере, очень слаба. Либо не существует возможности взаимодействия персонального компьютера с цифровой камерой.

Чтобы повысить возможность взаимодействия относительно данных между цифровыми устройствами, развивалась стандартизация для MPV.

Спецификация MPV определяет Manifest (Манифест), Metadata (Метаданные) и Practice (Технологию) для обработки и воспроизведения наборов данных мультимедиа, таких как цифровые изображения, видео, звук и т.п., которые сохраняются на носителе данных (или устройстве), заключающем в себе оптический диск, карту памяти, жесткий диск компьютера, или которыми обмениваются по протоколу Интернет (IP).

Стандартизация MPV в настоящее время проводится под наблюдением OSTA (Ассоциации по технологиям оптического хранения данных) и I3A (Международная ассоциация отрасли обработки изображений), и MPV использует открытую спецификацию и, главным образом, желает облегчить обработку, обмен и воспроизведение наборов цифровых изображений, видео, оцифрованного звука, текста и т.д.

MPV ориентировочно классифицируется на Основную спецификацию MPV (0,90WD) и Профиль.

Основа состоит из трех базовых факторов, таких как Collection (Коллекция), Metadata (Метаданные) и Identification (Идентификация).

Collection (Коллекция) в качестве корневого члена имеет Manifest (Манифест) и заключает в себе Metadata (Метаданные), Album (Альбом), MarkedAsset (Помеченный объект), AssetList (Список объектов) и т.д. Объект ссылается на данные мультимедиа, описанные в соответствии с форматом MPV, и при этом классифицируется на два вида: Простой объект мультимедиа (Simple media asset) (например, цифровые изображения, оцифрованный звук, текст и т.д.) и Составной объект мультимедиа (Composite media asset) (например, цифровое изображение, соединенное с оцифрованным звуком (StillWithAudio, "Неподвижное со звуком"), последовательно снятые цифровые изображения, (StillMultishotSequence, "Неподвижная последовательность из множества снимков"), панорамные цифровые изображения (StillPanoramaSequence, "Неподвижная панорамная последовательность") и т.д. Фиг.1 иллюстрирует примеры объектов StillWithAudio, StillMultishotSequence и StillPanoramaSequence.

Для метаданных принят формат расширяемого языка разметки (XML), и метаданные имеют пять видов идентификаторов для идентификации.

1. LastURL ("Последний URL") - это имя пути и имя файла соответствующего объекта (Путь к объекту).

2. InstanceID ("Идентификатор экземпляра") - это идентификатор, уникальный для каждого объекта (уникальный на объект: например, Exif 2,2).

3. DocumentID ("Идентификатор документа") одинаков как для исходных данных, так и для измененных данных.

4. ContentID ("Идентификатор контента") создается всякий раз, когда соответствующий объект используется для указанной цели.

5. id ("идентификатор") - это локальная переменная внутри метаданных.

Существует семь профилей: Basic profile (Основной профиль), Presentation profile (Профиль представления), Capture/Edit profile (Профиль захвата/редактирования), Archive profile (Профиль архива), Internet profile (Профиль Интернета), Printing profile (Профиль печати) и Container profile (Профиль контейнера).

MPV поддерживает управление различными связями файла посредством использования метаданных XML так, чтобы сделать возможным воспроизведение различных данных мультимедиа, записанных на носитель данных. Главным образом, MPV поддерживает JPEG (Объединенная группа экспертов по машинной обработке фотографических изображений), MP3, WMA (Звуковые файлы Windows), WMV (Видео-файлы Windows), MPEG-1 (Экспертная группа по кинематографии - 1), MPEG-2, MPEG-4 и форматы цифровых камер, такие как AVI (Чередующиеся аудио- и видеоданные) и видеоданные Quick Time MJPEG (Объединенная группа экспертов по обработке динамических изображений). Диски, поддерживающие спецификацию MPV, совместимы с форматом ISО9660 уровень 1, Joliet и многосессионным CD (компакт-диском), DVD (цифровым многофункциональным диском), картами памяти, жесткими дисками и Интернет, тем самым, позволяя пользователям управлять и обрабатывать больше различных данных мультимедиа.

Сущность изобретения

Техническая задача

Однако новые форматы различных данных мультимедиа не определены в описании формата MPV, а именно необходимы новые форматы объектов, а также требуется добавление функции для предоставления данных мультимедиа.

Техническое решение

Таким образом, настоящее изобретение предложено, чтобы предоставить форматы новых данных мультимедиа в дополнение к различным форматам данных мультимедиа, определенным в текущих форматах MPV, и повысить использование различных данных мультимедиа, предлагая методику предоставления различными способами пользователям данных мультимедиа, описанных в соответствии с форматами MPV.

Согласно примерному варианту осуществления настоящего изобретения предоставляется устройство для воспроизведения аудио- и видеоданных, составляющих данные мультимедиа, описанные в формате MPV, при этом устройство выясняет, составляет ли объект, выбранный пользователем, один элемент аудиоданных и, по меньшей мере, один или более элементов видеоданных, извлекает ссылочную информацию для воспроизведения аудиоданных и видеоданных, затем воспроизводит извлеченные аудиоданные, используя ссылочную информацию, извлекает, по меньшей мере, один или более элементов видеоданных из ссылочной информации, а затем последовательно воспроизводит их в соответствии с предопределенным способом, в то время как выполняется вывод аудиоданных. Операция воспроизведения может допускать воспроизведение видеоданных в соответствии с информацией по времени воспроизведения, определяя времена воспроизведения соответствующих видеоданных, в то время как воспроизводятся аудиоданные, и информацией по регулировке уровня громкости для настройки уровня громкости, полученного при воспроизведении аудиоданных и видеоданных.

Согласно другому примерному варианту осуществления настоящего изобретения предоставляется устройство для воспроизведения аудио- и видеоданных, составляющих данные мультимедиа, описанные в формате MPV, при этом устройство убеждается, содержит ли объект, выбранный пользователем, один элемент видеоданных и, по меньшей мере, один или больше элементов аудиоданных, извлекает ссылочную информацию для воспроизведения видеоданных и аудиоданных и затем воспроизводит извлеченные видеоданные, используя ссылочную информацию, извлекает, по меньшей мере, один или больше элементов аудиоданных из ссылочной информации, а затем последовательно воспроизводит их в соответствии с предопределенным способом, в то время как воспроизводятся видеоданные. Способ воспроизведения может допускать воспроизведение аудиоданных в соответствии с информацией по времени воспроизведения, определяя времена воспроизведения соответствующих аудиоданных, в то время как воспроизводятся видеоданные, и информацией по регулировке уровня громкости для настройки уровня громкости, полученного при воспроизведении аудиоданных.

Согласно другому примерному варианту осуществления настоящего изобретения предоставляется способ воспроизведения аудио- и видеоданных, составляющих данные мультимедиа, описанные в формате MPV, содержащий этапы, на которых выясняют, содержит ли выбранный пользователем объект одиночные аудиоданные и, по меньшей мере, один или более элементов видеоданных, извлекают ссылочную информацию для воспроизведения аудиоданных и видеоданных, извлекают и воспроизводят аудиоданные, используя ссылочную информацию, и извлекают и последовательно воспроизводят, по меньшей мере, один или более элементов видеоданных из ссылочной информации в соответствии с предопределенным способом, в то время как воспроизводятся аудиоданные.

Способ воспроизведения может допускать воспроизведение видеоданных в соответствии с информацией по времени воспроизведения, чтобы определить времена воспроизведения соответствующих видеоданных, в то время как воспроизводятся аудиоданные и информацией по регулировке уровня громкости для настройки уровня громкости, полученного при воспроизведении аудиоданных и видеоданных. В это время информация времени воспроизведения может содержать информацию по времени начала, когда начинается воспроизведение видеоданных, и информацию по времени воспроизведения для указания времени воспроизведения видеоданных.

Этап извлечения и последовательного воспроизведения заключает в себе этапы, на которых синхронизируют первую информацию по времени, назначая время для воспроизведения аудиоданных, и вторую информацию по времени, назначая время для воспроизведения, по меньшей мере, одного элемента видеоданных, извлекают первую информацию по регулировке уровня громкости для настройки уровня громкости, полученного во время воспроизведения аудиоданных, и вторую информацию по регулировке уровня громкости для настройки уровня громкости во время воспроизведения, по меньшей мере, одного или более элементов видеоданных, и подают аудиоданные и видеоданные на средства воспроизведения с использованием информации по времени и информации по регулировке уровня громкости.

Согласно еще одному примерному варианту осуществления настоящего изобретения предоставляется способ воспроизведения аудио- и видеоданных, составляющих данные мультимедиа, описанные в формате MPV, содержащий этапы, на которых выясняют, содержит ли выбранный пользователем объект одиночные видеоданные и, по меньшей мере, один или более элементов аудиоданных, извлекают ссылочную информацию для воспроизведения видеоданных и аудиоданных, извлекают и воспроизводят видеоданные, используя ссылочную информацию, и извлекают и последовательно воспроизводят, по меньшей мере, один или более элементов аудиоданных из ссылочной информации в соответствии с предопределенным способом, в то время как воспроизводятся видеоданные.

Способ воспроизведения может допускать воспроизведение аудиоданных в соответствии с информацией по времени воспроизведения, чтобы определить времена воспроизведения соответствующих аудиоданных, в то время как воспроизводятся видеоданные и формируется информация по регулировке уровня громкости для настройки громкости при воспроизведении видеоданных и аудиоданных. В это время информация по времени воспроизведения может содержать информацию по времени начала, когда начинается воспроизведение аудиоданных, и информацию по времени воспроизведения для указания времени воспроизведения аудиоданных.

Этап извлечения и последовательного воспроизведения может заключать в себе этапы, на которых синхронизируют первую информацию по времени, назначая время для воспроизведения видеоданных, и вторую информацию по времени, назначая время для воспроизведения, по меньшей мере, одного или более элементов аудиоданных, извлекают первую информацию по регулировке уровня громкости для настройки уровня громкости, полученного во время воспроизведении видеоданных, и вторую информацию по регулировке уровня громкости для настройки уровня громкости во время воспроизведения, по меньшей мере, одного или более элементов аудиоданных, и подают видеоданные и аудиоданные на средства воспроизведения с использованием информации по времени и информации по регулировке уровня громкости.

Согласно еще одному примерному варианту осуществления настоящего изобретения предоставляется носитель данных, на который записана программа для воспроизведения данных мультимедиа, описанных в формате MPV, при этом программа выясняет, составляет ли объект, выбранный пользователем, один элемент аудиоданных и, по меньшей мере, один или больше элементов видеоданных, извлекает ссылочную информацию для воспроизведения аудиоданных и видеоданных и затем воспроизводит извлеченные аудиоданные, используя ссылочную информацию, извлекает, по меньшей мере, один или более элементов видеоданных из ссылочной информации, а затем последовательно воспроизводит их в соответствии с предопределенным способом, в то время как выводятся аудиоданные.

Согласно еще одному примерному варианту осуществления настоящего изобретения предоставляется носитель данных, на который записана программа для воспроизведения данных мультимедиа, описанных в формате MPV, при этом программа выясняет, составляет ли объект, выбранный пользователем, один элемент видеоданных и, по меньшей мере, один или больше элементов аудиоданных, извлекает ссылочную информацию для воспроизведения видеоданных и аудиоданных и затем воспроизводит извлеченные видеоданные, используя ссылочную информацию, извлекает, по меньшей мере, один или больше элементов аудиоданных из ссылочной информации, а затем последовательно воспроизводит их в соответствии с предопределенным способом, в то время как воспроизводятся видеоданные.

Описание чертежей

Фиг.1 - это примерный вид, иллюстрирующий различные виды объектов, описанных в спецификации MPV;

фиг.2 - это примерный вид, схематично иллюстрирующий структуру объекта 'AudioWithVideo' в соответствии с аспектом настоящего изобретения;

фиг.3 - это примерный вид, иллюстрирующий элемент <VideoWithAudioRef> в соответствии с аспектом настоящего изобретения;

фиг.4 - это примерный вид, иллюстрирующий элемент <AudioWithVideoRef> в соответствии с аспектом настоящего изобретения;

фиг.5 - это примерный вид, иллюстрирующий элемент <VideoDurSeq> в соответствии с аспектом настоящего изобретения;

фиг.6 - это примерный вид, иллюстрирующий элемент <StartSeq> в соответствии с аспектом настоящего изобретения;

фиг.7 - это примерный вид, иллюстрирующий элемент <VideoVolumSeq> в соответствии с аспектом настоящего изобретения;

фиг.8 - это примерный вид, иллюстрирующий элемент <AudioVolume> в соответствии с аспектом настоящего изобретения;

фиг.9 - это примерный вид, иллюстрирующий тип элемента <AudioWithVideo> в соответствии с аспектом настоящего изобретения;

фиг.10 - это примерный вид, схематично иллюстрирующий структуру объекта 'VideoWithAudio' в соответствии с аспектом настоящего изобретения;

фиг.11 - это примерный вид, иллюстрирующий элемент <AudioDurSeq> в соответствии с аспектом настоящего изобретения;

фиг.12 - это примерный вид, иллюстрирующий элемент <AudioVolumeSeq> в соответствии с аспектом настоящего изобретения;

фиг.13 - это примерный вид, иллюстрирующий элемент <VideoVolume> в соответствии с аспектом настоящего изобретения;

фиг.14 - это примерный вид, иллюстрирующий тип элемента <VideoWithAudio> в соответствии с аспектом настоящего изобретения;

фиг.15 - это примерный вид, иллюстрирующий AudioRefGroup в соответствии с аспектом настоящего изобретения;

фиг.16 - это примерный вид, иллюстрирующий VideoRefGroup в соответствии с аспектом настоящего изобретения;

фиг.17 - это схема последовательности операций, иллюстрирующая процесс воспроизведения объекта 'AudioWithVideo' в соответствии с аспектом настоящего изобретения; и

фиг.18 - это блок-схема устройства для воспроизведения аудио- и видеоданных в соответствии с примерным вариантом осуществления настоящего изобретения.

РЕЖИМ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

В дальнейшем будут более подробно описаны со ссылкой на прилагаемые чертежи устройство и способ для воспроизведения аудио- и видеоданных, которые основаны на формате MPV, в соответствии с аспектом настоящего изобретения.

XML используется в настоящем изобретении для предоставления данных мультимедиа согласно формату MPV. Таким образом, настоящее изобретение будет описано в соответствии со схемой XML.

В данном документе предусмотрено больше различных данных мультимедиа путем введения новых объектов 'AudioWithVideo' и 'VideoWithAudio', не предусмотренных OSTA. Для описания новых объектов используются следующие термины: 'smpv' и 'mpv' относятся к 'namespace' (пространству имен) в XML, причем первый указывает пространство имен относительно нового элемента, предложенного в настоящем изобретении, а последний указывает пространство имен относительно элемента, предложенного OSTA. Будут описаны определения и примеры этих новых объектов.

1. Объект AudioWithVideo

Данный объект 'AudioWithVideo' содержит комбинацию из единичного звукового объекта с, по меньшей мере, одним или более видео-объектами. При представлении в XML этот объект может быть указан как элемент <AudioWithVideo>. Примером данного объекта будет являться случай, когда пользователь пользуется содержимым одного или более киноизображений, в то время как слушает песню.

В это время можно управлять интервалом времени воспроизведения содержимого нескольких киноизображений, а также можно управлять уровнем громкости содержимого киноизображений и песни.

Звуковой объект и видео-объект рассматриваются как элементы в документах XML, то есть как файлы XML. Звуковой объект может быть представлен как <smpv:AudioPart> и <mpv:Audio>, а видео-объект может быть представлен как <smpv:VideoPart> и <mpv:Video>.

Элемент<AudioPart>указывает на часть звукового объекта. В качестве подчиненного элемента <AudioPart> могут быть определены <SMPV:start>, <SMPV:stop>, <SMPV:dur>. Среди данных трех подчиненных элементов должно быть назначено значение, по меньшей мере, одного подчиненного элемента.

Подчиненный элемент <SMPV:start> может быть определен как <xs:element name='SMPV:start' type='xs:long' minOccurs='0'/>, обозначая время начала относительно части времени воспроизведения звукового объекта в целом, указанное в секундах. При отсутствии значения время начала рассчитывается на основе <SMPV:stop> и <SMPV:dur> как [SMPV:start]=[SMPV:stop]-[SMPV:dur]. Если значения <SMPV:stop> или <SMPV:dur> не назначены, значение <SMPV:start> равно 0.

Подчиненный элемент <SMPV:stop> может быть определен как <xs:element name='SMPV:stop' type='xs:long' minOccurs='0'/>, обозначая время останова относительно части времени воспроизведения звукового объекта в целом, указанное в секундах. При отсутствии значения время начала рассчитывается на основе <SMPV:start> и <SMPV:dur> как [SMPV:stop]=[SMPV:start]+[SMPV:dur]. Если значение <SMPV:dur> не указано, но указано значение<SMPV:start>, значение <SMPV:stop> принимается равным времени останова соответствующего объекта. Если значение <SMPV:start> не указано, но указано значение <SMPV:dur>, значение <SMPV:stop> принимается равным значению <SMPV:dur>.

Подчиненный элемент <SMPV:dur> может быть определен как <xs:element name='SMPV:dur' type='xs:long' minOccurs='0'/>, указывая действительное время воспроизведения соответствующего звукового объекта. Если значение <SMPV:dur> не задано, данное время рассчитывается как [SMPV:dur]=[SMPV:stop] - [SMPV:start].

Элемент <VideoPart> указывает на часть видео-объекта. Для определения элемента <AudioPart> может использоваться тот же способ, что и для определения элемента <VideoPart>.

Фиг.2 - это примерный вид, схематично иллюстрирующий структуру объекта 'AudioWithVideo' в соответствии с аспектом настоящего изобретения.

Обращаясь к данному чертежу, элемент<AudioWithVideo>содержит множество элементов, имеющих соответственно пространства имен 'mpv' или 'smpv'.

Элементы, имеющие 'mpv' в качестве пространства имен, описаны на официальной домашней странице OSTA (www.osta.org), представляющей спецификацию MPV, описание которой в данном документе будет опущено. Соответственно, ниже будут описаны только элементы, имеющие 'smpv' в качестве пространства имен.

(1) <AudioPartRef>

Данный элемент ссылается на элемент <AudioPart>.

(2) <VideoPartRef>

Данный элемент ссылается на элемент <VideoPart>.

(3) <VideoWithAudioRef>

Данный элемент ссылается на элемент <VideoWithAudio>, проиллюстрированный на фиг.3.

(4) <AudioWithVideoRef>

Данный элемент ссылается на элемент <AudioWithVideo>, проиллюстрированный на фиг.4.

(5) <VideoDurSeq>

Значение данного элемента указывает время воспроизведения соответствующих видеоданных, представленное в секундах в качестве единицы измерения и указывающее относительную временную величину. Время воспроизведения может быть представлено в виде числа с десятичной дробной частью. Когда значение данного элемента не установлено, принимается, что время воспроизведения не установлено, и, таким образом, общее время воспроизведения любых относящихся видеоданных подразумевается равным значению элемента <VideoDurSeq>.

Общее время воспроизведения любых соответствующих видеоданных может быть определено по типам ссылки видеоданных, на которые ссылается видео-объект.

А именно, общее время воспроизведения соответствующих видеоданных равно общему времени воспроизведения видеоданных, на которые указывает ссылка, когда типом ссылки является 'VideoRef'. Когда типом ссылки является 'VideoPartRef', возможно получить общее время воспроизведения относящихся к нему видеоданных, используя значение атрибута элемента <VideoPart>, на который указывает ссылка.

Когда типом ссылки является 'AudioPartRef', в элементе <AudioWithVideo>, на который указывает ссылка, должен быть установлен тип ссылки, относящийся к аудиоданным. Более конкретно, когда типом ссылки, относящимся к аудиоданным, является 'AudioRef', общее время воспроизведения имеющих к нему отношение видеоданных равно общему времени воспроизведения аудиоданных, и когда типом ссылки, относящимся к аудиоданным, является 'AudioPartRef', общее время воспроизведения имеющих к нему отношение видеоданных может быть получено по значению атрибута элемента <AudioPart>, на который указывает ссылка. Затем, когда типом ссылки является 'VideoWithAudioRef', из элемента <VideoWithAudio> извлекают только видео-объект, а общее время воспроизведения видеоданных, на которые в извлеченном видео-объекте ссылаются как 'VideoRef', рассматривается как общее время воспроизведения видеоданных.

Будет коротко описано значение элемента<VideoDurSeq>.

Формула (1) означает, что значение элемента <VideoDurSeq> представлено как 'clock-value' (значение времени), а времена воспроизведения соответствующего видео-типа указываются посредством ';', когда существуют два или более элементов видеоданных.

Формула (2) означает, что 'clock-value' в формуле (1) указывается в 'seconds' (в секундах) или как 'unknown-dur' (неизвестная длительность).

Формула (3) означает, что на 'unknown-dur' в формуле (2) указывает отсутствие установленного 'clock-value'.

Формула (4) означает, что 'seconds' в формуле (2) указываются как десятичное число, а время воспроизведения соответствующих видеоданных может быть указано посредством десятичной точки.

Например, когда 'clock-value' равно '7,2', это означает, что время воспроизведения соответствующих видеоданных составляет 7,2 секунды. В другом примере, когда значение 'clock-value' равно '2:10,9', это означает, что существует два соответствующих экземпляра видеоданных, один из которых воспроизводится 2 секунды, а другой воспроизводится в течение 10,9 секунд. В качестве другого примера, когда значение 'clock-value' равно ';5,6', это означает, что существует два соответствующих экземпляра видеоданных, один из которых воспроизводится в течение полного времени воспроизведения соответствующего контента, так как его время воспроизведения не установлено, а другой воспроизводится в течение 5,6 секунд. Фиг.5 иллюстрирует элемент <VideoDurSeq>.

(6) <StartSeq>

Значение элемента <StartSeq> указывает на момент времени, когда начинается воспроизведение каждого из элементов видеоданных. Данный момент времени указан в секундах в качестве единицы измерения, указывая относительное значение времени, основанное на временах начала соответствующих видеоданных. Время начала воспроизведения может быть указано как десятичная точка. Например, когда значение элемента <StartSeq> не установлено, подразумевается, что данное значение равно 0 секунд. А именно, соответствующие видеоданные проигрываются от времени начала их воспроизведения. Если значение элемента <StartSeq> больше суммарного времени воспроизведения соответствующих видеоданных, в результате соответствующие видеоданные проигрываются после того, как закончилось их воспроизведение: в этом случае подразумевается, что значение <StartSeq> равно 0.

Если внутри элемента <AudioWithVideo> определены и элемент <VideoDurSeq>, и элемент <StartSeq>, значение суммирующего элемента <VideoDurSeq> и элемента <StartSeq> должно быть равным или меньше суммарного времени воспроизведения соответствующих видеоданных. В противном случае значение элемента <VideoDurSeq> становится равным разности общего времени воспроизведения соответствующих видеоданных и элемента <StartSeq>. Фиг.6 иллюстрирует элемент <StartSeq>.

(7) <VideoVolumeSeq>

Значение элемента <VideoVolumeSeq> указывает на величину уровня громкости соответствующих видеоданных в процентах. Так, когда значение элемента <VideoVolumeSeq> равно 0, уровень громкости соответствующих видеоданных становится равным 0. Если значение элемента <VideoVolumeSeq> не установлено, соответствующие видеоданные проигрываются с первоначально установленным уровнем громкости.

Когда воспроизводится множество элементов видеоданных, устанавливается столько значений элемента <VideoVolumeSeq>, сколько воспроизводится элементов видеоданных. Однако если установлено единственное значение, все воспроизводимые экземпляры видеоданных воспроизводятся с уровнем громкости, равным данному установленному единственному значению. Фиг.7 иллюстрирует элемент <VideoVolumeSeq>.

(8) <AudioVolume>

Значение элемента <AudioVolume> указывает на величину уровня громкости соответствующих аудиоданных в процентах. Когда значение элемента <AudioVolume> не установлено, подразумевается, что оно равно 100. Фиг.8 иллюстрирует элемент <AudioVolume>.

Фиг.9 - это примерный вид, иллюстрирующий тип элемента <AudioWithVideo> в соответствии с аспектом настоящего изобретения.

Будет описан примерный способ предоставления объекта <AudioWithVideo>, используя описанные выше элементы.

[Пример 1]

<SMPV:AudioWithVideo>

<AudioRef>A0007</AudioRef>

<VideoRef>V1205</VideoRef>

<VideoRef>V1206</VideoRef>

<SMPV:StartSeq>;3</SMPV:StartSeq>

</SMPV:AudioWithVideo>

Пример 1 иллюстрирует способ воспроизведения объекта <AudioWithVideo> с использованием одного звукового объекта, обозначенного как 'A0007', и двух видео-объектов, обозначенных как 'V1205 и 'V1206' соответственно. В данном примере, так как значение элемента <StartSeq> не установлено относительно видео-объекта, значение которого обозначено как 'V1205', подразумевается, что данное значение равно 0 секунд. А именно, видео-объект, обозначенный как 'V1205', воспроизводят с момента времени, когда начинается воспроизведение звукового объекта, обозначенного как 'A0007', до момента времени, когда начинается воспроизведение видео-объекта, обозначенного как 'V1206'. Между тем, так как значение элемента <StartSeq> установлено равным 3 по отношению к видео-объекту, значение которого обозначено как 'V1206', видео-объект, обозначенный как 'V1206', воспроизводят через три секунды после момента времени, когда начинается воспроизведение видео-объекта, обозначенного как 'V1206'.

[Пример 2]

<SMPV:AudioWithVideo>

<AudioRef>A0001</AudioRef>

<VideoRef>V1001</VideoRef>

<VideoRef>V1002</VideoRef>

<VideoRef>V1003</VideoRef>

<SMPV:VideoDurSeq>2;;10</SMPV:VideoDurSeq>

<SMPV:StartSeq>;3;0</SMPV:StartSeq>

<SMPV:VideoVolumeSeq>50</SMPV:VideoVolumeSeq>

<SMPV:AudioVolume>50</SMPV:AudioVolume>

</SMPV:AudioWithVideo>

Пример 2 иллюстрирует способ воспроизведения объекта AudioWithVideo с использованием одного звукового объекта, обозначенного как 'A0001', и трех видео-объектов, обозначенных как 'V1001,' 'V1002' и 'V1003' соответственно. В этом примере видео-объект, обозначенный как 'V0001', воспроизводится в течение двух секунд. Воспроизведение видео-объекта, обозначенного как 'V1002', начинается после окончания воспроизведения видео-объекта, обозначенного как 'V1001', и после того, как прошли три секунды с момента начала воспроизведения видео-объекта, обозначенного как 'V1001'. Видео-объект, обозначенный как 'V1003', воспроизводят в течение десяти секунд после окончания воспроизведения видео-объекта, обозначенного как 'V1002'.

Данные три видео-объекта воспроизводят с величинами уровня громкости 50% от их первоначальных уровней громкости, и звуковой объект также воспроизводят с уровнем громкости 50% от его первоначального уровня громкости.

[Пример 3]

<SMPV:AudioWithVideo>

<AudioRef>A0001</AudioRef>

<VideoPartRef>VP1001</VideoPartRef>

<AudioWithVideoRef>AV1002</AudioWithVideoRef>

</SMPV:AudioWithVideo>

2. Объект 'VideoWithAudio'

Данный объект 'VideoWithAudio' содержит комбинацию из единичного видео-объекта с, по меньшей мере, одним или более звуковыми объектами. При представлении в XML это объект может быть указан как элемент <VideoWithAudio>. Звуковой объект и видео-объект рассматриваются как элементы в документах XML. Звуковой объект может быть представлен как <smpv:AudioPart> или <mpv:Audio>, а видео-объект может быть представлен как <smpv:VideoPart> или <mpv:Video>.

Фиг.10 - это примерный вид, схематично иллюстрирующий структуру объекта 'VideoWithAudio' в соответствии с аспектом настоящего изобретения. Обращаясь к схеме, изображающей элемент <VideoWithAudio>, элемент <VideoWithAudio>содержит множество элементов, имеющих соответственно пространства имен 'mpv' или 'smpv'.

Элементы, имеющие 'mpv' в качестве пространства имен, описаны на официальной домашней странице OSTA (www.osta.org), представляющей спецификацию MPV, поэтому их описание в данном документе будет опущено. Соответственно, ниже будут описаны только элементы, имеющие 'smpv' в качестве пространства имен. В этом отношении, так как ресурс AudioWithVideo уже был описан в данном документе, повторное описание будет опущено.

(1) <AudioDurSeq>

Значения элемента <AudioDurSeq> указывают на времена воспроизведения соответствующих аудиоданных. Время воспроизведения может быть указано в секундах в качестве единицы измерения, указывающих относительную временную величину. Время воспроизведения может быть указано с использованием числа с десятичной дробной частью. Когда значение <AudioDurSeq> не установлено, предполагается, что время воспроизведения не установлено, и в качестве значения элемента <AudioDurSeq> рассматривается суммарное время воспроизведения соответствующих аудиоданных. Будет кратко описано значение элемента <AudioDurSeq>.

Формула (5) означает, что значение элемента <AudioDurSeq> указывается как 'clock-value', и когда существует два экземпляра аудиоданных, соответствующие времена воспроизведения аудиоданных указываются путем использования ';'.

Формула (6) обозначает, что 'clock-value' в формуле (5) указывается в 'seconds' (в секундах) или как 'unknown-dur' (неизвестная длительность).

Формула (7) означает, что на 'unknown-dur' в формуле (6) указывает отсутствие установленного 'clock-value'.

Формула (8) означает, что 'seconds' в формуле (6) указываются как десятичное число, а время воспроизведения соответствующих видеоданных может быть указано посредством числа с десятичной дробной частью.

Например, когда 'clock-value' равно '12,2', это означает, что время воспроизведения соответствующих аудиоданных составляет 12,2 секунды. В другом примере, когда значение 'clock-value' равно '20;8,9', это означает, что существует два соответствующих экземпляра аудиоданных, один из которых воспроизводится в течение 20 секунд, а другой воспроизводится в течение 8,9 секунд. Как дальнейший пример, когда значение 'clock-value' равно ';565', это означает, что существует два соответствующих экземпляра видеоданных, один из которых воспроизводится в течение полного времени воспроизведения соответствующего контента, так как его время воспроизведения не установлено, а другой проигрывается в течение 565 секунд. Фиг.11 сжато иллюстрирует элемент<AudioDurSeq>.

(2) <AudioVolumeSeq>

Значение элемента <AudioVolumeSeq> указывает на величину уровня громкости соответствующих аудиоданных в процентах. Если значение элемента <AudioVolumeSeq> не установлено, соответствующие аудиоданные проигрываются с первоначально установленным уровнем громкости.

Когда воспроизводится множество элементов аудиоданных, устанавливается столько значений элементов <AudioVolumeSeq>, сколько воспроизводится элементов аудиоданных. Однако если установлено единственное значение, все воспроизводимые экземпляры видеоданных воспроизводятся с уровнем громкости, равным установленному единственному значению. Фиг.12 иллюстрирует элемент <AudioVolumeSeq>.

(3) <VideoVolume>

Значение <VideoVolume> указывает величину уровня громкости соответствующих видеоданных в процентах. Когда значение элемента <VideoVolume> не установлено, подразумевается, что оно равно 100. То есть он воспроизводится с первоначально установленным уровнем громкости соответствующих видеоданных. Фиг.13 сжато описывает элемент <VideoVolume>.

Фиг.14 - это примерный вид, иллюстрирующий тип элемента <VideoWithAudio> в соответствии с аспектом настоящего изобретения.

Согласно примерному аспекту настоящего изобретения, чтобы ссылаться на объекты, могут быть определены группы ссылок.

Могут быть определены 'AudioRefGroup', ссылающийся на звуковые объекты, и 'VideoRefGroup', ссылающийся на видеообъекты.

В данный момент AudioRefGroup содержит элементы <mpv:AudioRef> и <SMPV:AudioPartRef>.

К тому же VideoRefGroup содержит элементы <mpv:VideoRef>, <SMPV:VideoPartRef>, <SMPV:VideoWithAudioRef> и <SMPV:AudioWithVideoRef>. Фиг.15 и 16 описывают 'AudioRefGroup' и 'VideoRefGroup'. Фиг.17 - это схема последовательности операций, иллюстрирующая процесс воспроизведения объекта 'AudioWithVideo' в соответствии с аспектом настоящего изобретения.

Пользователь исполняет программное обеспечение, способное исполнять любой файл, записанный в соответствии с форматом MPV, и выбирает в определенном альбоме объект 'AudioWithVideo' S1700. Затем формируют поток или дочерний обработчик, который собирает информацию по звуковым объектам и видео-объектам.

Извлекают S1705, ссылочную информацию, относящуюся к звуковому объекту, составляющему объект 'AudioWithVideo', выбранный пользователем. И, с использованием ссылочной информации из списка объектов, извлекают информацию по звуковому объекту, S1710. В этот момент получают информацию по времени воспроизведения и информацию по уровню громкости звукового объекта, S1715 и S1720.

С другой стороны, другой поток или дочерний обработчик извлекает список видео-объектов, которые должны быть скомбинированы со звуковым объектом, S1725, и информацию по всем видео-объектам из списка объектов, S1730. Затем каждый из них определяет сценарий воспроизведения видео-объектов, используя информацию, то есть последовательность соответствующих видеоданных и времени для воспроизведения соответствующих видеоданных, S1735. Даже хотя определены сценарии относительно всех видео-объектов, которые должны быть скомбинированы со звуковым объектом на этапе S1735, суммарное время воспроизведения всех видео-объектов может быть дольше, чем время воспроизведения звукового объекта. В этом случае суммарное время воспроизведения видео-объектов адаптируется ко времени воспроизведения звукового объекта. В этот момент на этапе S1740 используется информация по времени воспроизведения, полученная на этапе S1715. Соответственно, часть видео-объектов, которые должны быть воспроизведены, могут быть не воспроизведены после того, как кончилось время воспроизведения звукового объекта. После выполнения этапа S1740 настраивают уровень громкости, полученный от соответствующих видеоданных, S1745.

После того как звуковой объект и видео-объекты, составляющие объект 'AudioWithVideo', получены для объекта 'AudioWithVideo', воспроизводят S1750, содержимое для представления объекта 'AudioWithVideo', используя данную информацию.

Фиг.18 иллюстрирует примерный вариант осуществления устройства для выполнения процесса воспроизведения аудио- и видеоданных, такого как, например, процесс, показанный на фиг.17. Устройство 1800, показанное на фиг.18, включает в себя определяющий модуль 1810 и экстрактор 1820. Определяющий модуль 1810 принимает входящие данные пользователя и выясняет, включает ли объект, выбранный пользователем, аудио- и видеоданные. Экстрактор 1820 затем извлекает ссылочную информацию для воспроизведения аудио- и видеоданных, выводит извлеченную аудиоинформацию, используя ссылочную информацию, извлекает видеоданные из ссылочной информации и воспроизводит видеоданные, в то время как выводятся аудиоданные. Видеоданные могут последовательно отображаться в соответствии с заранее определенным способом.

Данные мультимедиа, предоставленные форматом MPV, могут описываться в форме документов XML, которые могут быть изменены с получением множества прикладных документов в соответствии с таблицами стилей, примененными к документам XML. В настоящем изобретении применялись таблицы стилей для изменения документа XML в документ HTML, причем пользователю позволялось управлять аудио- и видеоданными посредством браузера. Дополнительно могут применяться таблицы стилей для превращения документа XML в документ WML (язык разметки для беспроводных систем) или cHTML (компактный HTML), тем самым позволяя пользователю выполнять доступ к аудио- и видеоданным, описанным форматом MPV, посредством мобильных терминалов, таких как персональный цифровой помощник (PDA), сотовый телефон, смартфон и так далее.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Как описано выше, настоящее изобретение обеспечивает пользователей новой формой объектов данных мультимедиа в комбинации с аудиоданными и видеоданными, тем самым позволяя пользователям формировать и использовать больше различных данных мультимедиа, описанных в формате MPV.

Хотя настоящее изобретение было описано в связи с его примерными вариантами осуществления, показанными на прилагаемых чертежах, чертежи являются только примерами настоящего изобретения. Специалисты в данной области техники смогут также понять, что дополнительно могут быть выполнены различные изменения, модификации и эквиваленты изобретения. Таким образом, истинная техническая область настоящего изобретения должна быть определена приложенной формулой изобретения.

Заявлены устройство и способ для воспроизведения аудио- и видеоданных, описанных в формате MPV. Устройство для воспроизведения выясняет, содержит ли выбранный пользователем объект один элемент видеоданных и, по меньшей мере, один элемент аудиоданных. Затем устройство извлекает ссылочную информацию для воспроизведения видеоданных и аудиоданных. Затем воспроизводит извлеченные видеоданные, используя ссылочную информацию, и извлекает элемент аудиоданных из ссылочной информации, а затем последовательно воспроизводит его, в то время как выполняется воспроизведение видеоданных. 5 н. и 13 з.п. ф-лы, 18 ил.

1. Способ воспроизведения данных мультимедиа, содержащий этапы, на которых:

проверяют, содержит ли объект для воспроизведения один или более элементов аудиоданных и один или более элементов видеоданных;

извлекают ссылочную информацию, необходимую для воспроизведения одного или более элементов аудиоданных и одного или более элементов видеоданных; и

воспроизводят один или более элементов аудиоданных и один или более элементов видеоданных, используя извлеченную ссылочную информацию на основе метаданных.

синхронизируют первую информацию о времени, назначая время для воспроизведения аудиоданных, и вторую информацию о времени, назначая время для воспроизведения, по меньшей мере, одного или более элементов видеоданных,

извлекают первую информацию о регулировке уровня громкости для настройки уровня громкости, генерируемой во время воспроизведения аудиоданных, и вторую информацию о регулировке уровня громкости во время воспроизведения, по меньшей мере, одного или более элементов видеоданных, и

подают аудиоданные и видеоданные на средства воспроизведения с использованием информации о времени и информации о регулировке уровня громкости.

генерируют метаданные, включающие в себя ссылочную информацию для указания на подлежащий воспроизведению объект и информацию воспроизведения для воспроизведения объекта; и

воспроизводят объект, используя сгенерированные метаданные,

при этом объект содержит один или более элементов видеоданных и воспроизводится при помощи объекта, соответствующего ссылочной информации,

причем информация воспроизведения включает в себя информацию о времени, когда видеоданные будут воспроизводиться, и информацию об уровне громкости для настройки уровня громкости, генерируемой при воспроизведении одного или более элементов аудиоданных и одного или более элементов видеоданных.

определяющий модуль, который определяет, содержит ли выбранный пользователем объект один элемент аудиоданных и, по меньшей мере, один элемент видеоданных,

экстрактор, который извлекает ссылочную информацию для воспроизведения аудиоданных и, по меньшей мере, одного элемента видеоданных, затем выдает извлеченные аудиоданные, используя ссылочную информацию, извлекает упомянутый, по меньшей мере, один элемент видеоданных из ссылочной информации и затем последовательно воспроизводит упомянутый, по меньшей мере, один элемент видеоданных в соответствии с предопределенным способом, в то время как выполняется вывод аудиоданных.

определяющий модуль, который определяет, содержит ли выбранный пользователем объект один элемент видеоданных и, по меньшей мере, один элемент аудиоданных,

экстрактор, который извлекает ссылочную информацию для воспроизведения видеоданных и, по меньшей мере, одного элемента аудиоданных, затем воспроизводит извлеченные видеоданные, используя ссылочную информацию, извлекает, по меньшей мере, один элемент аудиоданных из ссылочной информации и затем последовательно выводит упомянутый, по меньшей мере, один элемент аудиоданных в соответствии с предопределенным способом, в то время как выполняется воспроизведение видеоданных.

генерируют метаданные, включающие в себя ссылочную информацию для указания на подлежащий воспроизведению объект и информацию воспроизведения для воспроизведения объекта; и

воспроизводят объект, используя сгенерированные метаданные,

при этом объект содержит один или более элементов аудиоданных и один или более элементов видеоданных и воспроизводится при помощи объекта, соответствующего ссылочной информации,

при этом метаданные представлены на языке разметки,

причем язык разметки описывается в соответствии с форматом Музыка фото/видео (MPV).