УСТРОЙСТВО И СПОСОБ ОТОБРАЖЕНИЯ МУЛЬТИМЕДИЙНЫХ ДАННЫХ, ОБЪЕДИНЕННЫХ С ТЕКСТОМ, И НОСИТЕЛЬ ЗАПИСИ, СОДЕРЖАЩИЙ ПРОГРАММУ ДЛЯ ВЫПОЛНЕНИЯ ЭТОГО СПОСОБА Российский патент 2008 года по МПК G11B20/10 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу отображения мультимедийных данных, объединенных с текстовыми данными, и носителю записи, на который записывается этот способ, а более конкретно, к управлению содержимым, таким как аудиоданные, данные фотографий или видеоданные, объединенным с одними или более текстовыми данными в формате MultiPhotoVideo или MusicPhotoVideo (MPV), чтобы представлять содержимое пользователям.

Предшествующий уровень техники

MPV - это спецификация промышленного стандарта, посвященная мультимедийным заголовкам, опубликованная Ассоциацией по технологиям оптического хранения данных (далее упоминается как OSTA), международной торгово-промышленной ассоциацией, основанной производителями оптических запоминающих устройств в 2002 году. А именно, MPV - это спецификация стандарта, чтобы предоставлять различные музыкальные, фотографические и видеоданные более удобно или чтобы управлять и обрабатывать мультимедийные данные. Определение MPV и других спецификаций стандартов доступно для использования посредством официального веб-узла OSTA (www.osta.org).

В последнее время мультимедийные данные, содержащие цифровые изображения, видео, цифровое аудио, текст и т.п., обрабатываются посредством персональных электронных вычислительных машин (ПЭВМ). Устройства воспроизведения цифрового содержимого, к примеру, цифровые камеры, цифровые записывающие видеокамеры, цифровые аудиопроигрыватели (к примеру, цифровые устройства воспроизведения аудиоданных, таких как аудиоданные стандарта Moving Picture Experts Group Layer-3 Audio (MP3), Window Media Audio (WMA) и т.п.) часто использовались, и соответственно различные виды мультимедийных данных генерировались в больших объемах.

Тем не менее, персональные вычислительные машины, главным образом, использовались, чтобы управлять мультимедийными данными, генерируемыми в больших объемах; в этом смысле от пользователей требовался опыт работы с файлами. Помимо этого, когда мультимедийные данные генерируются для конкретного продукта, атрибуты данных, последовательности воспроизведения данных и способы воспроизведения данных генерируются в зависимости от мультимедийных данных. Если к ним осуществляется доступ посредством персональных вычислительных машин, атрибуты теряются и передаются только исходные данные. Другими словами, очень слабо развиты возможности взаимодействия в отношении данных и атрибутов данных между бытовыми электроприборами, персональными вычислительными машинами и устройствами воспроизведения цифрового содержимого.

Далее описан пример слабых возможностей взаимодействия. Изображение захватывается посредством использования цифровой камеры, и данные, такие как последовательность атрибутов слайд-шоу, определенная посредством использования функции слайд-шоу, чтобы идентифицировать захваченное изображение на цифровой камере, интервалы времени между изображениями, отношения между изображениями, атрибуты которых определены посредством использования функции панорамы, и атрибуты, определенные посредством использования функции последовательного фотографирования, сохраняются вместе с фактическими данными изображений в качестве исходных данных. В это время, если цифровая камера передает изображения в телевизионный приемник посредством использования аудио- и видеокабеля, пользователь может видеть мультимедийные данные, соответствующие атрибуты которых представлены. Тем не менее, если доступ к цифровой камере осуществляется с персональной вычислительной машины посредством использования интерфейса универсальной последовательной шины (USB), только исходные данные передаются в вычислительную машину и их соответствующие атрибуты теряются.

Как описано выше, показано, что возможности взаимодействия персональной вычислительной машины для метаданных, таких как атрибуты данных, сохраненные в цифровой камере, очень слабые или нет взаимодействия персональной вычислительной машины с цифровой камерой.

Чтобы расширить возможности взаимодействия в отношении данных между цифровыми устройствами, разрабатывалась стандартизация для MPV.

Спецификация MPV задает манифест, метаданные и инструкции, чтобы обрабатывать и воспроизводить наборы мультимедийных данных, такие как цифровые изображения, видео, аудио и т.д., сохраненные на носителе (или устройстве) хранения, содержащем оптический диск, карту памяти и жесткий диск вычислительной машины или полученные посредством Интернет-протокола (IP).

Стандартизация MPV в настоящее время расширяется организациями OSTA (Ассоциация по технологиям оптического хранения данных) и I3A (Международная промышленная ассоциация по обработке изображений). MPV берет открытую спецификацию и, главным образом, предполагает сделать ее для простой обработки, обмена и воспроизведения наборов из цифровых изображений, видео, цифрового аудио, текста и т.п..

MPV примерно классифицируется на спецификацию ядра MPV (0.90WD) и профиль.

Ядро состоит из трех основных факторов, таких как Collection (Подборка), Metadata (Метаданные) и Identification (Идентификация).

Элемент Collection имеет Manifest в качестве корневого члена, и он содержит элементы Metadata (метаданные), Album (Альбом), MarkedAsset (Полученный ресурс), AssetList (Список ресурсов) и т.д. Ресурс (Asset) относится к мультимедийным данным, описанным согласно формату MPV, классифицируемым на два типа: Simple Media Asset (Простой Мультимедийный Ресурс) (к примеру, цифровые изображения, цифровое аудио, текст и т.д.) и Composite Media Asset (Составной Мультимедийный Ресурс) (к примеру, цифровое изображение, объединенное с цифровым аудио (StillWithAudio), цифровые изображения, фотографируемые последовательно (StillMultishotSequence), панорамные цифровые изображения (StillPanoramaSequence) и т.п.). Фиг.1 иллюстрирует примеры элементов StillWithAudio, StillMultishotSequence и StillPanoramaSequence.

Элемент Metadata (Метаданные) применяет формат расширяемого языка разметки (XML) и имеет пять видов идентификаторов для идентификации.

1. LastURL - путь и имя файла соответствующего ресурса (путь к объекту).

2. InstanceID - идентификатор, уникальный для каждого ресурса (уникален для объекта: к примеру, Exif 2.2).

3. DocumentID идентичен для исходных данных и модифицированных данных.

4. ContentID создается каждый раз, когда соответствующий ресурс используется для конкретной цели.

5. ID - это локальная переменная в метаданных.

Предусмотрено семь профилей: Basic profile (Основной профиль), Presentation profile (Презентационный профиль), Capture/Edit profile ((профиль захвата/редактирования), Archive profile (Архивный профиль). Internet profile (Интернет-профиль), Printing profile (профиль печати) и Container profile (профиль оболочки).

MPV поддерживает управление ассоциативным связыванием различных файлов посредством использования метаданных XML с тем, чтобы представить возможность воспроизведения различных мультимедийных данных, записанных на носителях хранения. Конкретно, MPV поддерживает JPEG (Joint Photographic Experts Group), MP3, WMA (Windows Media Audio), WMV (Windows Media Video), MPEG-1 (Moving Picture Experts Group-1), MPEG-2, MPEG-4 и форматы цифровых камер, такие как AVI (Audio Video Interleaved) и видео Quick Time MJPEG (Motion Joint Photographic Experts Group). Поддерживающие спецификацию MPV диски совместимы с IS09660 уровень 1, Joliet и многосеансовым компакт-диском, DVD (цифровым универсальным диском), картами памяти, жесткими дисками и Интернетом, тем самым давая возможность пользователям управлять и обрабатывать различные мультимедийные данные.

Сущность изобретения

Техническая задача

Тем не менее, требуются новые форматы различных мультимедийных данных, не определенные в спецификации форматов MPV, а именно новые форматы ресурсов, и также желательно добавление для обеспечения мультимедийных данных.

Техническое решение

Настоящее изобретение предоставляет новый тип мультимедийных данных в добавление к существующим разнообразным подборкам мультимедийных данных, предусмотренным в текущем формате MusicPhotoVideo (MPV), а также способ представления нового типа мультимедийных данных пользователю, тем самым обеспечивая более широкое применение подбора мультимедийных данных.

В соответствии с аспектом настоящего изобретения предусмотрено устройство для отображения мультимедийных данных, описанных согласно формату MPV, в котором проверяется, составлен ли ресурс, выбранный пользователем, из отдельных аудиоданных и одних или нескольких текстовых данных, извлекается информация, требуемая для воспроизведения аудиоданных и текстовых данных, взятые в отдельности аудиоданные извлекаются для воспроизведения с использованием извлеченной информации и одни или более текстовых данных извлекаются из извлеченной информации и последовательно отображаются с помощью заранее определенного способа отображения в ходе воспроизведения взятых в отдельности аудиоданных.

В примерном варианте осуществления ресурс включает в себя информацию о положении, в котором отображаются текстовые данные, и времени, когда отображаются текстовые данные. Кроме того, способ отображения может содержать отображение всех текстовых данных на основе информации о времени отображения, требуемой для обозначения времени, когда отображаются текстовые данные при воспроизведении аудиоданных.

В соответствии с другим аспектом настоящего изобретения предусмотрено устройство отображения мультимедийных данных, объединенных с текстовыми данными и описанных согласно формату MusicPhotoVideo (MPV), в котором проверяется, составлен ли ресурс, выбранный пользователем, из отдельных видеоданных и одних или более текстовых данных, извлекается информация, требуемая для отображения видеоданных и текстовых данных, видеоданные извлекаются для воспроизведения с использованием извлеченной информации, и одни или более текстовых данных извлекаются из извлеченной информации и последовательно отображаются с помощью заранее определенного способа отображения в ходе воспроизведения видеоданных. В этом случае ресурс включает в себя информацию о положении, в котором предпочтительно отображаются текстовые данные, и времени, когда отображаются текстовые данные. Кроме того, способ отображения может содержать отображение каждых текстовых данных на основе информации о времени отображения, требуемой для обозначения времени, когда отображаются текстовые данные при воспроизведении видеоданных.

В соответствии с еще одним аспектом настоящего изобретения предусмотрено устройство отображения мультимедийных данных, объединенных с текстовыми данными и описанных согласно формату MusicPhotoVideo (MPV), в котором проверяется, составлен ли ресурс, выбранный пользователем, из отдельных данных изображений и одних или более текстовых данных, извлекается информация, требуемая для отображения данных изображений и текстовых данных, данные изображений извлекаются для отображения с использованием извлеченной информации и одни или более текстовых данных извлекаются из извлеченной информации и последовательно отображаются с использованием заранее определенного способа отображения в ходе воспроизведения данных изображений.

В примерном варианте осуществления ресурс включает в себя информацию о положении, в котором отображаются текстовые данные, и времени, когда отображаются текстовые данные. Кроме того, способ отображения может содержать отображение каждых текстовых данных на основе информации о времени отображения, требуемой для обозначения времени, когда отображаются текстовые данные при воспроизведении данных изображений.

В соответствии с еще одним аспектом настоящего изобретения предусмотрен способ отображения мультимедийных данных, объединенных с текстовыми данными и описанных согласно формату MusicPhotoVideo (MPV), при этом способ содержит проверки, составлен ли ресурс, выбранный пользователем, из отдельных аудиоданных и одних или более текстовых данных, извлекают информацию, требуемую для представления аудиоданных и текстовых данных; извлекают аудиоданные для воспроизведения с помощью извлеченной информации и извлекают одни или более текстовых данных из извлеченной информации и последовательно отображают текстовые данные с использованием заранее определенного способа отображения в ходе воспроизведения аудиоданных.

При этом ресурс предпочтительно, но не обязательно, включает в себя информацию о положении, в котором отображаются текстовые данные, и времени, когда отображаются текстовые данные, а способ отображения может содержать этап, на котором отображают каждые текстовые данные на основе информации о времени отображения, требуемой для обозначения времени, когда текстовые данные отображаются при воспроизведении аудиоданных. Кроме того, информация о времени отображения предпочтительно, но не обязательно, включает в себя время, когда начинается отображение текстовых данных, и продолжительность отображения, в течение которой воспроизводятся текстовые данные.

В соответствии с дополнительным аспектом настоящего изобретения предусмотрен способ отображения мультимедийных данных, объединенных с текстовыми данными и описанных согласно формату MusicPhotoVideo (MPV), при этом способ содержит проверку, составлен ли ресурс, выбранный пользователем, из отдельных видеоданных и одних или более текстовых данных, извлекают информацию, требуемую для отображения видеоданных и текстовых данных; извлекают видеоданные для воспроизведения с использованием извлеченной информации и извлекают одни или более текстовых данных из извлеченной информации и последовательно отображают текстовые данные с использованием заранее определенного способа отображения в ходе воспроизведения видеоданных.

В примерном варианте осуществления способ отображения содержит отображение каждых текстовых данных на основе информации о времени отображения, требуемой для обозначения времени, когда отображаются текстовые данные при воспроизведении видеоданных. Информация о времени отображения включает в себя время, когда начинается отображение текстовых данных, и продолжительность отображения, в течение которой отображаются текстовые данные. Кроме того, ресурс включает в себя информацию о положении, в котором отображаются текстовые данные, и времени, когда отображаются текстовые данные.

В соответствии с еще одним аспектом настоящего изобретения предусмотрен способ отображения мультимедийных данных, объединенных с текстовыми данными и описанных согласно формату MusicPhotoVideo (MPV), при этом способ содержит проверку, составлен ли ресурс, выбранный пользователем, из отдельных данных изображений и одних или более текстовых данных, извлекают информацию, требуемую для отображения данных изображений и текстовых данных; извлекают и отображают данные изображений с использованием извлеченной информации и извлекают одни или более текстовых данных из извлеченной информации и последовательно отображают текстовые данные с использованием заранее определенного способа отображения в ходе отображения данных изображений.

В примерном варианте осуществления способ отображения содержит отображение каждых текстовых данных на основе информации о времени отображения, требуемой для обозначения времени, когда отображаются текстовые данные при отображении данных изображений. В этом случае информация о времени отображения включает в себя время, когда начинается отображение текстовых данных, и продолжительность отображения, в течение которой отображаются текстовые данные. Кроме того, ресурс предпочтительно, но не обязательно, включает в себя информацию о положении, в котором отображаются текстовые данные, и времени, когда отображаются текстовые данные.

В соответствии с еще одним аспектом настоящего изобретения предусмотрен носитель записи, на который записывается программа для отображения мультимедийных данных, описанных согласно формату MusicPhotoVideo (MPV), при этом программа проверяет, составлен ли ресурс, выбранный пользователем, из отдельных аудиоданных и одних или более текстовых данных, извлекает информацию, требуемую для отображения аудиоданных и текстовых данных, извлекает аудиоданные для воспроизведения с использованием извлеченной информации и извлекает одни или более текстовых данных из извлеченной информации, чтобы последовательно отобразить текстовые данные с использованием заранее определенного способа отображения в ходе воспроизведения аудиоданных.

В соответствии с дополнительным аспектом настоящего изобретения предусмотрен носитель записи, на который записывается программа для отображения мультимедийных данных, описанных согласно формату MusicPhotoVideo (MPV), при этом программа проверяет, составлен ли ресурс, выбранный пользователем, из отдельных видеоданных и одних или более текстовых данных, извлекает информацию, требуемую для отображения видеоданных и текстовых данных, извлекает видеоданные для воспроизведения с использованием извлеченной информации и извлекает одни или более текстовых данных из извлеченной информации, чтобы последовательно отобразить текстовые данные с использованием заранее определенного способа отображения в ходе воспроизведения видеоданных.

В соответствии с еще одним аспектом настоящего изобретения предусмотрен носитель записи, на который записывается программа для отображения мультимедийных данных, описанных согласно формату MusicPhotoVideo (MPV), при этом программа проверяет, составлен ли ресурс, выбранный пользователем, из отдельных данных изображений и одних или более текстовых данных, извлекает информацию, требуемую для отображения данных изображений и текстовых данных, извлекает данные изображений для отображения с использованием извлеченной информации и извлекает одни или более текстовых данных из извлеченной информации, чтобы последовательно отобразить текстовые данные с использованием заранее определенного способа отображения в ходе отображения данных изображений.

В соответствии с еще одним аспектом настоящего изобретения предусмотрены:

1. Способ отображения мультимедийных данных, содержащий этапы, на которых

проверяют, содержит ли ресурс для отображения одни или более мультимедийных данных и одни или более текстовых данных;

извлекают справочную информацию, требуемую для отображения упомянутых мультимедийных данных и одних или более текстовых данных из упомянутого ресурса; и

отображают упомянутые мультимедийные данные и одни или более текстовых данных, используя извлеченную справочную информацию, на основе информации о времени отображения текстовых данных и информации о положении отображения текстовых данных.

2. Способ по п.1, в котором мультимедийные данные представляют собой одно из следующего: аудиоданные, данные фотоизображений, видеоданные.

3. Способ по п.1, в котором упомянутые метаданные представлены посредством языка разметки.

4. Способ по п.3, в котором язык разметки представлен согласно формату MusicPhotoVideo (MPV).

5. Способ по п.1, в котором справочная информация относится к идентификационной информации для идентификации упомянутого ресурса.

6. Способ по п.1, в котором упомянутые метаданные дополнительно содержат информацию об атрибутах упомянутого ресурса.

7. Способ отображения мультимедийных данных, содержащий этапы, на которых

генерируют метаданные, включающие в себя справочную информацию для обращения к ресурсу, нужному для отображения, и к информации воспроизведения для воспроизведения упомянутого ресурса; и

отображают упомянутый ресурс с использованием сгенерированных метаданных,

причем ресурс содержит одни или более мультимедийных данных и одни или более текстовых данных, и его отображают посредством использования ресурса, соответствующего справочной информации,

причем упомянутая информация воспроизведения содержит информацию о времени отображения текстовых данных и информацию о положении отображения текстовых данных.

8. Способ по п.7, в котором мультимедийные данные представляют собой одно из следующего: аудиоданные, данные фотоизображений, видеоданные.

9. Способ по п.7, в котором упомянутые метаданные представлены посредством языка разметки.

10. Способ по п.9, в котором язык разметки представлен согласно формату MusicPhotoVideo (MPV).

11. Способ по п.7, в котором справочная информация и информация воспроизведения представлены в виде элемента, определенного схемой.

12. Способ по п.11, в котором имя элемента является одним из следующего: "AudioWithText", "PhotoWithText", "VideoWithText".

13. Способ по п.7, в котором справочная информация относится к идентификационной информации для идентификации упомянутого ресурса.

14. Способ по п.7, в котором упомянутые метаданные дополнительно содержат информацию об атрибутах упомянутого ресурса.

15. Устройство для отображения мультимедийных данных, содержащее

память под управлением процессора, причем память содержит программное обеспечение, позволяющее устройству выполнить способ по п.1.

16. Устройство для отображения мультимедийных данных, содержащее

память под управлением процессора, причем память содержит программное обеспечение, позволяющее устройству выполнить способ по п.7.

17. Машиночитаемый носитель записи для отображения мультимедийных данных, на который записана программа, позволяющая процессору реализовать способ по п.1.

18. Машиночитаемый носитель записи для отображения мультимедийных данных, на который записана программа, позволяющая процессору реализовать способ по п.7.

Описание чертежей

Вышеописанные и другие признаки и преимущества настоящего изобретения станут более очевидными посредством подробного описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи, из которых:

Фиг.1 - это примерная схема типов ресурсов, заданных в спецификации MusicPhotoVideo (MPV).

Фиг.2 - это примерная схема, кратко задающая элемент <TextContent> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.3 - это примерная схема, кратко задающая элемент <TextBody> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.4 - это примерная схема, кратко задающая элемент <TextLocation> в соответствии с вариантом осуществления настоящего изобретения, а фиг.5 - это примерная схема, иллюстрирующая отношение между координатами положения дочерних элементов, формирующих элемент <TextLocation> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.6 - это примерная схема, кратко задающая элемент <AudioWithText> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.7 - это примерная схема, показывающая определение типа для элемента <AudioWithTextType> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.8 - это примерная схема, кратко задающая элемент <PhotoWithText> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.9 - это примерная схема, показывающая определение типа элемента <PhotoWithTextType> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.10 - это примерная схема, кратко задающая элемент <VideoWithText> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.11 задает структуру <TextContentType>, иллюстрирующую определение типа элемента <VideoWithText> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.12 - это примерная схема, кратко задающая элемент <AudioWithTextRef> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.13 - это примерная схема, кратко задающая элемент <PhotoWithTextRef> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.14 - это примерная схема, кратко задающая элемент <VideoWithTextRef> в соответствии с вариантом осуществления настоящего изобретения.

Фиг.15 и 16 - это блок-схемы последовательности операций, иллюстрирующие способ отображения ресурса VideoWithText в соответствии с вариантом осуществления настоящего изобретения.

Фиг.17-19 - это блок-схемы последовательности операций, иллюстрирующие способ отображения ресурса PhotoWithText в соответствии с вариантом осуществления настоящего изобретения.

Режим осуществления изобретения

Настоящее изобретение использует расширяемый язык разметки (XML), чтобы предоставлять мультимедийные данные, совместимые с форматом MusicPhotoVideo (MPV). Далее настоящее изобретение описывается согласно схеме XML.

Настоящее изобретение предоставляет более разнообразные подборки мультимедийных данных посредством добавления ресурсов AudioWithText, PhotoWithText и VideoWithText, не предлагаемых в настоящее время Ассоциацией по технологиям оптического хранения данных (OSTA), к существующим данным. Далее содержатся определения и примеры использования трех новых ресурсов. Ниже smpv и mpv - это пространства имен XML для элементов, предлагаемых в настоящем изобретении и ассоциацией OSTA соответственно.

1. Ресурс AudioWithText

AudioWithText - это ресурс, который объединяет отдельный аудиоресурс с одними или более данными сопроводительных надписей. Если ресурс описан с использованием XML, он может упоминаться как элемент <AudioWithText>. Аудиоресурс и текстовые данные интерпретируются как элемент в файле, описанном с использованием XML. Чтобы задать структуру элемента <AudioWithText>, сначала должна быть проанализирована структура текстовых данных, объединяемых с аудиоресурсом. Настоящее изобретение задает элемент <TextContent> в качестве элемента, представляющего структуру текстовых данных.

Фиг.2 схематически задает структуру элемента <TextContent>. Ссылаясь на схему элемента <TextContent> на фиг.2, элемент <TextContent> содержит несколько дочерних элементов, использующих mpv и smpv в качестве пространств имен.

При этом, поскольку элементы, использующие в качестве пространства имен mpv, описаны на веб-узле OSTA по адресу www.osta.org, их описание не будет представлено. Таким образом, далее описываются элементы, использующие smpv в качестве пространства имен.

(1) Элемент <TextBody>

Элемент <TextBody> представляет текстовые данные, корректно отформатированные в соответствии со стандартом языка гипертекстовой разметки (HTML). Элемент <TextBody> может задавать характеристики текста HTML, например свойства каскадных таблиц стилей (CSS), которые задают шрифт или цвет текста. Хотя элемент <TextBody> главным образом используется, чтобы отображать небольшой объем текстовых данных, которые непосредственно задаются в файле MPV, элемент <TextRef> задан в спецификации ядра MPV. В отличие от элемента <TextBody>, где текстовые данные непосредственно описаны в файле MPV, элемент <TextRef> ссылается на отдельный файл, содержащий текстовые данные. В этом случае отдельный файл может быть в MPV или других форматах. Если элемент <TextRef> не задан в качестве атрибута, ассоциативно связанного с элементом <TextContent>, элемент <TextBody> должен быть описан, что вкратце показано на фиг.3.

(2) Элемент <TextLocation>

Элемент <TextLocation> задает положение субтитра или сопроводительной надписи замещают на экране. При отсутствии элемента <TextLocation> может быть использована инструкция по умолчанию. Форматы HTML и языка синхронизированной интеграции мультимедиа (SMIL) предлагают способ задания свойств текста. Тем не менее, если используется элемент <TextLocation>, характеристики, заданные элементом <TextLocation>, замещают другие.

Элемент <TextLocation> может иметь дочерние элементы, представляющие координаты положения, в котором отображается текст. Дочерние элементы включают в себя <TextLeft>, <TextTop>, <TextWidth> и <TextHeight>. Хотя фиг.4 кратко задает элемент <TextLocation>, фиг.5 иллюстрирует отношение между координатами положения дочерних элементов, формирующих элемент <TextLocation>.

(3) Элемент <TextStartTime>

Элемент <TextStartTime> представляет время, когда текстовые данные начинают отображаться, и он задан в элементе <TextBody> или <TextRef>. Для элемента <TextBody> значение элемента <TextStartTime> должно быть задано. Для элемента <TextRef> элемент <TextStartTime> не обязательно может быть задан для более точной настройки начального времени.

(4) Элемент <TextDuration>

Элемент <TextDuration> означает продолжительность, в течение которой отображаются текстовые данные. В случае заголовка, заданного в элементе <TextBody>, элемент <TextDuration> может быть использован вместе с элементом <TextStart>.

(5) Элемент <AudioWithText>

Фиг.6 схематически задает структуру элемента <AudioWithText>. Ссылаясь на схему элемента <AudioWithText> на фиг.6, элемент <AudioWithText> состоит из нескольких дочерних элементов, использующих mpv и smpv в качестве пространств имен.

При этом, поскольку элементы, использующие в качестве пространства имен mpv, описаны на веб-узле OSTA по адресу www.osta.org, их описание не будет представлено. Элемент <TextContent>, использующий в качестве пространства имен smpv, задает отображаемые текстовые данные. Элемент <AudioRefGroup>, заданный, чтобы обозначать аудиоданные, содержит элемент <AudioRef>, предусмотренный в спецификации ядра MPV, и элемент <AudioPartRef>, заданный согласно варианту осуществления настоящего изобретения, который ссылается на элемент <AudioPart>, указывающий часть аудиоданных. Фиг.7 иллюстрирует определение типа элемента <AudioWithTextType>.

2. Ресурс PhotoWithText

Фиг.8 схематически задает структуру элемента <PhotoWithText>. PhotoWithText - это ресурс, который объединяет отдельные данные изображений с одними или более текстовыми данными. Ресурс, описанный с помощью XML, может упоминаться как элемент <PhotoWithText>. Чтобы отображать текстовые данные в данных изображений, информация о положении текстовых данных задается в элементе <PhotoWithText>. Двое или более текстовых данных могут отображаться в одних данных изображения. Фиг.9 иллюстрирует определение типа элемента <PhotoWithTextType>.

3. Ресурс VideoWithText

Фиг.10 схематически задает структуру элемента <VideoWithText>. VideoWithText - это ресурс, который объединяет отдельные видеоданные с одними или более текстовыми данными. Ресурс, описанный с использованием XML, может упоминаться как элемент <VideoWithText>. Ресурс VideoWithText может быть использован для отображения субтитра фильма или другой дополнительной информации на экране, когда фильм воспроизводится. Фиг.11 задает структуру <TextContentType>, иллюстрирующую определение типа элемента <VideoWithTextType>.

4. Элементы для ссылок

Элементы <AudioWithTextRef>, <PhotoWithTextRef> и <VideoWithTextRef> аналогично структурированы, чтобы делать ссылки на ресурсы AudioWithText, PhotoWithText и VideoWithText соответственно. Фиг.12-14 иллюстрируют структуры элементов для ссылок.

Фиг.15 и 16 - это блок-схемы последовательности операций, иллюстрирующие способ отображения ресурса VideoWithText в соответствии с вариантом осуществления настоящего изобретения.

Когда пользователь выбирает ресурс VideoWithText с использованием программного обеспечения для воспроизведения файлов MPV на этапе S1400, программное обеспечение проверяет, содержатся ли ссылки на текстовый файл, чтобы извлечь текстовые данные, содержащиеся в ресурсе VideoWithText, на этапе S1405.

На этапе S1435, если ссылки на текстовый файл содержатся, т.е. элемент <TextRef> присутствует в ресурсе, программное обеспечение рассматривает формат текстового файла, указанного ссылкой в элементе <TextRef>. Если текстовый файл имеет корректный формат, ресурс VideoWithText начинает отображаться на этапе S1440. Если нет, сообщение об ошибке генерируется и затем доставляется пользователю, после чего следует возврат возвращаемого значения или завершение соответствующей программы (не показано).

Если текстовые данные непосредственно описаны в файле MPV на этапе S1405, т.е. элемент <TextBody> содержится в ресурсе, на этапе S1410 проверяется то, описан ли корректно элемент <TextBody> согласно соответствующему формату. Если элемент <TextBody> корректно описан согласно формату, время, когда отображение текстовых данных начинается и завершается, задается на этапах S1415 и S1420 соответственно, и отдельный текстовый файл создается на этапе S1425. Наоборот, если элемент <TextBody> не описан корректно согласно формату, сообщение об ошибке генерируется и доставляется пользователю, после чего следует возврат возвращаемого значения или завершение соответствующей программы на этапе S1430.

Между тем, на этапе 1425 создается отдельный текстовый файл, чтобы повысить степень повторного использования программного компонента. Т.е. посредством записи текстовых данных в отдельном файле текстовые данные могут быть использованы в функции, имеющей этот файл в качестве входного параметра.

На этапе 1440 ресурс VideoWithText начинает отображаться с помощью файла, содержащего текстовые данные в качестве ввода.

В этом случае создается поток или порожденный процесс, чтобы отображать видеокадр на этапе S1445 и проверять время отображения при отображении текстовых данных на этапах S1450-S1470.

Более конкретно, сначала, когда видеоданные, включенные в ресурс VideoWithText, начинают воспроизводиться, на этапе S1450 начинает работать таймер. Таймер имеет информацию о времени, когда отображение текстовых данных начинается и завершается. Информация о времени завершения может быть получена посредством сложения значений элементов <TextStart> и <TextDuration>. После того, как период времени, соответствующий элементу <TextDuration> для отображения текстовых данных, завершается на этапе S1455, на этапе S1460 генерируется событие по времени, и на этапе S1465 проверяется, существуют ли следующие текстовые данные, которые должны быть отображены. Если текстовые данные, которые должны быть отображены, существуют, информация о времени текстовых данных извлекается и доставляется в таймер на этапе S1470, и процесс возвращается к этапу S1450. Наоборот, если текстовые данные, которые должны быть отображены, не существуют на этапе S1465, отображается только видеокадр.

Когда воспроизведение видеоданных, формирующих ресурс VideoWithText, завершено, генерируется возвращаемое значение, и другой ресурс выбирается пользователем для воспроизведения на этапе S1475.

Ресурс AudioWithText может быть отображен посредством использования такого же способа, что и показан на фиг.15 и 16.

Фиг.17-19 - это блок-схемы последовательности операций, иллюстрирующие способ отображения ресурса PhotoWithText в соответствии с вариантом осуществления настоящего изобретения.

Когда пользователь выбирает ресурс PhotoWithText с использованием программного обеспечения для воспроизведения файлов MPV на этапе S1500, программное обеспечение извлекает информацию о данных изображений, включенных в ресурс PhotoWithText, на этапе S1505. Затем на этапе S1510 программное обеспечение проверяет, содержатся ли ссылки на текстовый файл, чтобы извлечь текстовые данные, включенные в ресурс PhotoWithText.

На этапе S1540, если ссылки на текстовый файл содержатся, т.е. элемент <TextRef> присутствует в ресурсе, программное обеспечение рассматривает формат текстового файла, указанного ссылкой в элементе <TextRef>. Если текстовый файл имеет корректный формат, ресурс PhotoWithText начинает отображаться на этапе S1550. Если нет, сообщение об ошибке генерируется и затем доставляется пользователю, после чего следует возврат возвращаемого значения или завершение соответствующей программы (не показано).

Если вместо этого текстовые данные непосредственно описаны в файле MPV на этапе S1510, т.е. элемент <TextBody> включен в ресурс, на этапе S1515 проверяется то, описан ли корректно элемент <TextBody> согласно соответствующему формату. Если элемент <TextBody> описан корректно согласно формату и присутствует два или более элемента <TextContent>, текстовые данные, которые должны быть отображены, выстраиваются согласно своему временному порядку на этапе S1520. После извлечения на этапе S1525 значения элемента <TextLocation>, чтобы получить информацию о положении текстовых данных, которые должны быть отображены, срок использования ресурса PhotoWithText определяется на этапе S1530, и на этапе S1535 создается отдельный текстовый файл. В этом случае срок использования может быть определен посредством сложения срока использования одних или более текстовых данных или с использованием срока использования данных изображений, вычисленного из информации об изображениях, извлеченной на этапе S1505.

Наоборот, если элемент <TextBody> не описан корректно согласно формату на этапе S1515, сообщение об ошибке генерируется и доставляется пользователю, после чего следует возврат возвращаемого значения или завершение соответствующей программы на этапе S1545.

Между тем, на этапе 1535 создается отдельный текстовый файл, чтобы повысить степень повторного использования программного компонента. Т.е., поскольку текстовые данные непосредственно описаны в элементе <TextBody>, текстовые данные могут быть использованы в функции, имеющей отдельный файл в качестве входного параметра, посредством записи текстовых данных в тот же файл.

На этапе 1550 ресурс PhotoWithText начинает отображаться с использованием файла, содержащего текстовые данные в качестве ввода.

В этом случае создается поток или порожденный процесс, чтобы отображать данные изображений на этапах S1555-S1570 и проверять время отображения при отображении текстовых данных на этапах S1575-S1590.

Более конкретно, сначала, когда данные изображений, содержащиеся в ресурсе PhotoWithText, начинают воспроизводиться, на этапе S1555 начинает работать таймер. При этом после завершения срока использования ресурса PhotoWithText, определенного на этапе S1530, на этапе S1560 генерируется событие по времени. Затем отображенные данные изображений удаляются, и память, используемая для отображения ресурса PhotoWithText, возвращается на этапе S1565. После этого на этапе S1570 генерируется возвращаемое значение, и другой ресурс выбирается для воспроизведения.

Между тем, когда данные изображений, содержащиеся в ресурсе PhotoWithText, начинают отображаться, может запуститься таймер, чтобы управлять посредством другого потока или порожденного процесса на этапе S1575. Таймер имеет информацию о времени, когда отображение текстовых данных начинается и завершается. Информация о времени завершения может быть получена посредством сложения значений элементов <TextStart> и <TextDuration>. После того, как период времени, соответствующий элементу <TextDuration> для отображения текстовых данных, завершается на этапе S1580, на этапе S1582 генерируется событие по времени, и на этапе S1584 проверяется, истек ли срок использования ресурса PhotoWithText. Если срок использования ресурса PhotoWithText истек, поток завершает порожденный процесс на этапе S1590. С другой стороны, если срок использования еще не истек на этапе S1584, на этапе S1586 проверяется, существуют ли следующие текстовые данные, которые должны быть отображены. Если текстовые данные, которые должны быть отображены, существуют, информация о времени текстовых данных извлекается и доставляется в таймер на этапе S1588, и процесс возвращается к этапу S1575. Наоборот, если текстовые данные, которые должны быть отображены, не существуют на этапе S1586, текстовые данные не отображаются, и на этапе S1590 поток или порожденный процесс завершается.

Мультимедийные данные, предоставляемые в формате MPV, могут быть описаны в форме XML-документа. XML-документ может быть преобразован в форматы документов, используемые для различных приложений, на основе выбора таблицы стилей для XML-документа. Настоящее изобретение дает возможность пользователю управлять аудио- и видеоданными посредством обозревателя с помощью таблицы стилей, которая преобразует XML-документы в HTML. Помимо этого, таблицы стилей, которые преобразуют XML-документ в стандарт языка разметки для беспроводной связи (WML) и компактной версии языка разметки HTML (cHTML), могут быть использованы, чтобы дать возможность пользователю осуществлять доступ к мультимедийным данным, объединенным с текстовыми данными и описанными в формате MPV, посредством мобильных терминалов, таких как PDA, сотовые телефоны и интеллектуальные телефоны.

Промышленная применимость

Настоящее изобретение предоставляет пользователю новый тип мультимедийного ресурса, который объединяет каждое из аудио, фото- и видеоданных с текстовыми данными, тем самым давая возможность пользователю генерировать и использовать более разнообразные мультимедийные данные, представленные в формате MPV.

Таким образом, хотя описаны конкретные примерные варианты осуществления настоящего изобретения, различные преобразования, модификации и усовершенствования должны быть очевидны специалистам в данной области техники, без отступления от сущности и объема настоящего изобретения. Следовательно, предшествующее описание и прилагаемые чертежи не следует рассматривать как ограничивающие.

Изобретение относится к устройству и способу отображения мультимедийных данных, объединенных с текстовыми данными, и носителю записи. В устройстве для отображения мультимедийных данных, объединенных с текстовыми данными и описанных согласно формату MusicPhotoVideo (MPV), проверяется, составлен ли ресурс, выбранный пользователем, из одних аудиоданных и одних или более текстовых данных. Информация, требуемая для отображения аудиоданных и текстовых данных, извлекается, аудиоданные извлекаются для воспроизведения с использованием извлеченной информации и одни или более текстовых данных извлекаются из извлеченной информации и последовательно отображаются с использованием заранее определенного способа отображения в ходе воспроизведения аудиоданных. 6 н. и 12 з.п. ф-лы, 19 ил.

1. Способ отображения мультимедийных данных, содержащий этапы, на которых проверяют, содержит ли ресурс для отображения одни или более мультимедийных данных и одни или более текстовых данных; извлекают справочную информацию, требуемую для отображения упомянутых мультимедийных данных и одних или более текстовых данных из упомянутого ресурса; и отображают мультимедийные данные и одни или более текстовых данных, используя извлеченную справочную информацию, на основе информации о времени отображения текстовых данных и информации о положении отображения текстовых данных.2. Способ по п.1, в котором мультимедийные данные представляют собой одно из следующего: аудиоданные, данные фотоизображений, видеоданные.3. Способ по п.1, в котором упомянутые метаданные представлены посредством языка разметки.4. Способ по п.3, в котором язык разметки представлен согласно формату MusicPhoto Video (MPV).5. Способ по п.1, в котором справочная информация относится к идентификационной информации для идентификации упомянутого ресурса.6. Способ по п.1, в котором упомянутые метаданные дополнительно содержат информацию об атрибутах упомянутого ресурса.7. Способ отображения мультимедийных данных, содержащий этапы, на которых генерируют метаданные, включающие в себе справочную информацию для обращения к ресурсу, нужному для отображения, и к информации воспроизведения для воспроизведения упомянутого ресурса; и отображают упомянутый ресурс с использованием сгенерированных метаданных, причем ресурс содержит одни или более мультимедийных данных и один или более текстовых данных, и его отображают посредством использования ресурса, соответствующего справочной информации, причем упомянутая информация воспроизведения содержит информацию о времени отображения текстовых данных и информацию о положении отображения текстовых данных.8. Способ по п.7, в котором мультимедийные данные представляют собой одно из следующего: аудиоданные, данные фотоизображений, видеоданные.9. Способ по п.7, в котором упомянутые метаданные представлены посредством языка разметки.10. Способ по п.9, в котором язык разметки представлен согласно формату MusicPhoto Video (MPV).11. Способ по п.7, в котором справочная информация и информация воспроизведения представлена в виде элемента, определенного схемой.12. Способ по п.11, в котором имя элемента является одним из следующего: "AudioWithText", "PhotoWithText", "VideoWithText".13. Способ по п.7, в котором справочная информация относится к идентификационной информации для идентификации упомянутого ресурса.14. Способ по п.7, в котором упомянутые метаданные дополнительно содержат информацию об атрибутах упомянутого ресурса.15. Устройство для отображения мультимедийных данных, содержащее память под управлением процессора, причем память содержит программное обеспечение, позволяющее устройству выполнить способ по п.1.16. Устройство для отображения мультимедийных данных, содержащее память под управлением процессора, причем память содержит программное обеспечение, позволяющее устройству выполнить способ по п.7.17. Машиночитаемый носитель записи для отображения мультимедийных данных, на который записана программа, позволяющая процессору реализовать способ по п.1.18. Машиночитаемый носитель записи для отображения мультимедийных данных, на который записана программа, позволяющая процессору реализовать способ по п.7.