СИНХРОНИЗАЦИЯ ДИСТАНЦИОННОГО АУДИО С ФИКСИРОВАННЫМ ВИДЕО Российский патент 2014 года по МПК H04N7/56 H04N21/434 

Область техники, к которой относится раскрытие

Настоящее раскрытие, в целом, относится к беспроводной связи и, более конкретно, к синхронизации аудио и видеосигналов, воспроизводимых на отдельных устройствах, например, на карманном электронном устройстве и беспроводном головном телефоне.

Уровень техники

В настоящее время многие мобильные телефоны с возможностью Bluetooth поддерживают набор основных функциональных возможностей, таких как профили головного телефона/”свободные руки” для предоставления возможности вызовов “свободные руки”, определенные функциональные возможности OBEX для помещения в стек, извлечения и передачи файлов, и некоторый тип последовательного соединения для обобщенного доступа. Большинство из этих телефонов также отчасти поддерживают медиасодержание, такое как MP3 и другой формат аудиоклипов. Некоторые телефоны с возможностью Bluetooth также имеют функциональную возможность воспроизводить медиасодержание типа МР4, которое объединяет видео, аудио и метаданные в одном и том же файле. Однако проблемы синхронизации аудио и видео могут случаться, когда видео содержание просматривают на дисплее сотового телефона или другом главном устройстве, а сопровождающее аудиосодержание воспроизводят на беспроводном головном телефоне. Например, потоковое аудио стереокачества из медиаустройства, как сотовый телефон или персональный компьютер, через Bluetooth в стерео головной телефон требует использования профиля обобщенного доступа к аудио/видео (GAVDP), усовершенствованного профиля распространения аудио (A2DP) и транспортного протокола распространения аудио/видео (ADVTP). A2DP требует использования схемы поддиапазонного кодирования (SBC), чтобы обеспечивать функциональную совместимость между всеми устройствами Bluetooth. Если музыкальные файлы хранят в телефоне в формате МР3, их обычно транскодируют в SBC, для того чтобы передавать в потоке аудио с использованием A2DP. Транскодирование аудиосодержания и передача его в беспроводной головной телефон вносит время ожидания, которое влияет на синхронизацию. На синхронизацию также может влиять повторная передача данных между главным устройством и головным телефоном и последующая обработка аудиосодержания в головном телефоне.

Различные аспекты, признаки и преимущества раскрытия станут более полно понятными обычным специалистам в данной области техники после внимательного рассмотрения его следующего подробного описания с сопровождающими чертежами, описанными ниже. Чертежи могут быть упрощены для ясности и необязательно начерчены в масштабе.

Краткое описание чертежей

Фиг.1 является схематической блок-схемой мультимедиа-устройства и дистанционного аудиоустройства.

Фиг.2 является блок-схемой процесса определения задержки.

Фиг.3 является блок-схемой процесса определения оцененной задержки.

Фиг.5 является блок-схемой процесса синхронизации аудио и видеокадров.

Фиг.5 является блок-схемой процесса определения, поддерживает ли дистанционное аудиоустройство аудиоформат, присущий главному мультимедиа-устройству.

Подробное описание изобретения

На фиг.1 проиллюстрировано карманное мультимедиа-устройство 100, которое соединено с возможностью связи с дистанционным аудиоустройством 102, причем видеосодержание присутствует в мультимедиа-устройстве, а связанное аудиосодержание присутствует в дистанционном аудиоустройстве. Иллюстративное мультимедиа-устройство является мобильным телефоном, включающим в себя, по меньшей мере, видеоплеер, способный на воспроизведение видеосодержания. Однако в большинстве случаев устройство 100 включает в себя мультимедиа-плеер 104, способный на представление аудио и видеосодержания. В других вариантах осуществления мультимедиа-устройство является любым главным устройством, способным на представление, по меньшей мере, видео содержания и связывание с дистанционным аудиоустройством, способным на представление сопровождающего аудиосодержания. В одной реализации мультимедиа-устройство поддерживает мультимедиа-содержание MP4 или некоторое другое содержание формата мультимедиа. МР4 является форматом контейнера, который объединяет видео, аудио и метаданные. Дистанционное аудиоустройство 102 может быть реализовано как аудио головной телефон или некоторое другое аудиоустройство, способное на связывание с главным устройством. В одном варианте осуществления дистанционное аудиоустройство связывается беспроводным способом с главным устройством, хотя в других вариантах осуществления устройства связываются через проводную линию. Дистанционное аудиоустройство обычно поддерживает аудиоформат, предоставленный главным устройством, как дополнительно обсуждено ниже.

В одном варианте осуществления мультимедиа-устройство связывается беспроводным способом с дистанционным аудиоустройством в соответствии с протоколом Bluetooth. Однако в других вариантах осуществления эти устройства связываются согласно некоторому другому открытому или патентованному протоколу беспроводной или проводной связи. В некоторых случаях проблема синхронизации может случаться, когда видеокомпонент файла мультимедиа представляют в пользовательском интерфейсе мультимедиа-устройства, а сопровождающий аудиокомпонент представляют в дистанционном устройстве. Как сказано, задержка распространения, связанная с передачей аудиокомпонента из мультимедиа-устройства в дистанционное аудиоустройство, может давать, в результате, недопустимое отсутствие синхронизации. На задержку распространения также может влиять повторная передача неправильных или потерянных данных между главным устройством и дистанционным аудиоустройством. На задержку распространения также может влиять изменение состояний канала, например, в мобильных приложениях, где главное устройство связывается беспроводным способом с дистанционным аудиоустройством.

Локальная обработка аудиосодержания в мультимедиа-устройстве и/или в дистанционном аудиоустройстве также может отрицательно влиять на синхронизацию. Например, в некоторых реализациях, потоковое аудио стерео качества из мультимедиа-устройства через Bluetooth в стерео головной телефон требует использования профиля обобщенного доступа к аудио/видео (GAVDP), усовершенствованного профиля распространения аудио (A2DP) и транспортного протокола распространения аудио/видео (ADVTP). A2DP требует использования схемы поддиапазонного кодирования (SBC), чтобы обеспечивать функциональную совместимость между устройствами Bluetooth. Некоторые форматы аудиофайлов, например, МР3, хранящиеся в мультимедиа-устройстве, обычно транскодируют в SBC, для того чтобы использовать A2DP. В других вариантах осуществления могут быть использованы другие аудио и видео протоколы. Транскодирование аудиосодержания в главном устройстве по любой причине, тем не менее, вносит время ожидания, которое может иметь отрицательные воздействия на синхронизацию аудио и видео. На синхронизацию также может влиять обработка аудиосодержания в дистанционном аудиоустройстве.

На фиг.1 мультимедиа-устройство включает в себя объект 106 разделения, соединенный с мультимедиа-плеером. Объект разделения выполнен с возможностью разделения потока мультимедиа на аудиокадры и видеокадры. В одной реализации содержание мультимедиа, введенное в объект разделения, считывают из запоминающего устройства в мультимедиа-устройстве. В других реализациях содержание мультимедиа передают потоком из дистанционного устройства. В последней реализации содержание мультимедиа может быть передано потоком через проводную или беспроводную сеть. Переданное потоком содержание может брать начало из любого источника, например, DVB-H или другого широковещательного источника, или оно может быть передано потоком из сервера содержания, соединенного с Internet, или через некоторую другую сеть. В других реализациях содержание мультимедиа может быть получено из некоторого другого источника, например, из записывающего устройства, соединенного с возможностью связи с мультимедиа-устройством. Не подразумевают, что раскрытие ограничено конкретным источником содержания мультимедиа.

На фиг.1 мультимедиа-устройство 100 также включает в себя объект 108 упорядочивания, имеющий вход, соединенный с выходом устройства разделения. В одном варианте осуществления объект 108 упорядочивания выполнен с возможностью добавления порядкового номера, по меньшей мере, к одному из аудиокадров. В других вариантах осуществления порядковый номер также добавляют, по меньшей мере, к одному из видеокадров. В большинстве случаев порядковый номер может быть добавлен к каждому n-ому аудиокадру и к каждому n-ому видеокадру, где n - некоторая целая величина, большая, чем 0. В некоторых вариантах осуществления порядковые номера, добавляемые к аудио и видеокадрам, могут быть использованы для того, чтобы осуществлять доступ к синхронизации между аудио и видеокадрами во время воспроизведения, как более полно обсуждено ниже.

На фиг.1 видеоплеер 104 соединен с объектом 106 разделения, причем видеоплеер выполнен с возможностью представления видеокадров, принимаемых из объекта разделения, в пользовательском интерфейсе устройства, например, на его видеодисплее. На фиг.1 видеоплеер 104 соединен с объектом 108 упорядочивания, причем объект упорядочивания передает видеокадры в видеоплеер 104 через объект 114 буфера. В других реализациях видеоплеер соединен непосредственно с объектом 106 разделения, причем объект разделения передает видеокадры в видеоплеер через объект 114 буфера. В вариантах осуществления, в которых видеокадры маршрутизируют в видеоплеер через объект упорядочивания, объект упорядочивания может добавлять или может не добавлять порядковые номера к видеокадрам в зависимости от конкретной реализации.

В некоторых вариантах осуществления мультимедиа-устройство включает в себя объект транскодирования для реализаций, в которых транскодирование может быть необходимым. Например, в некоторых случаях форматы аудиофайлов, хранящиеся в мультимедиа-устройстве, могут быть транскодированы в другой формат до передачи в дистанционное аудиоустройство. В некоторых вариантах осуществления, упомянутых выше, аудиокадры формата МР3 транскодируют в SBC, для того чтобы использовать A2DP. В других вариантах осуществления объект транскодера транскодирует другие аудиоформаты. На фиг.1 иллюстративное главное устройство включает в себя объект 109 транскодирования для транскодирования аудиокадров. Задержка, связанная с транскодированием в главном устройстве и дистанционном аудиоустройстве, обсуждена дополнительно ниже.

На фиг.1 главное устройство 100 содержит приемопередатчик 110, соединенный с объектом 108 упорядочивания. В одном варианте осуществления приемопередатчик является беспроводным приемопередатчиком, например Bluetooth, или беспроводным приемопередатчиком некоторого другого протокола. Однако в большинстве случаев приемопередатчик может быть проводным приемопередатчиком. Приемопередатчик обычно выполнен с возможностью передачи аудиокадров в дистанционное аудиоустройство. После приема дистанционное аудиоустройство представляет аудиокадры в его пользовательском интерфейсе, например, в приемопередатчике головного телефона. В некоторых вариантах осуществления аудиокадры могут быть обработаны в дистанционном аудиоустройстве до представления пользователю.

Видеокадры, представленные в пользовательском интерфейсе главного мультимедиа-устройства, предпочтительно синхронизируют с аудиокадрами, представленными в пользовательском интерфейсе дистанционного аудиоустройства. В данном раскрытии синхронизация означает, что представление аудио кадров и сопровождающих видеокадров происходит в определенном интервале времени. Определенный интервал времени является субъективным, поскольку чувствительность к синхронизации может до некоторой степени изменяться между пользователями. Определенный интервал времени обычно выбирают таким, что нет воспринимаемого пользователем заметного отсутствия синхронизации, по меньшей мере, для большинства пользователей. Любая задержка между представлением видеокадров и сопровождающих аудиокадров вне определенного интервала времени является не синхронизированной. В соответствии с одним аспектом настоящего раскрытия представление не синхронизированных аудио и видеокадров уменьшают и, предпочтительно, исключают, по меньшей мере, принимая во внимание субъективно определенный интервал времени.

На фиг.1 мультимедиа-устройство также включает в себя контроллер 112, соединенный с видеоплеером 104. Контроллер обычно выполнен с возможностью определения, синхронизированы ли видеокадры и сопровождающие аудиокадры, а также управления представлением видео и/или аудиокадров некотором способом, чтобы уменьшить или исключить отсутствие синхронизации. В одном варианте осуществления контроллер выполнен с возможностью определения задержки, связанной с передачей аудиокадров в дистанционное аудиоустройство, на основе порядкового номера, добавленного к одному или более аудиокадрам. Контроллер также выполнен с возможностью управления представлением видеокадров в видеоплеере на основе задержки. В одном варианте осуществления контроллер задерживает представление видеокадров в пользовательском интерфейсе мультимедиа-устройства, чтобы синхронизировать представление аудиокадров в дистанционном устройстве с видеокадрами в главном устройстве.

На фиг.1 главное устройство 100 включает в себя объект 114 буфера и задержки, соединенный с видеоплеером 104. В одном варианте осуществления объект буфера и задержки является частью видеоплеера. Однако в других вариантах осуществления объект 114 буфера и задержки является разделенным. Контроллер 112 соединен с объектом 114 буфера и задержки и, следовательно, контроллер соединен с видеоплеером через объект 114. В одном варианте осуществления контроллер 112 управляет представлением видеокадров на основе задержки передачи посредством предоставления управляющих сигналов в объект 114 буфера и задержки, причем управляющий сигнал задерживает передачу видеосигналов в видеоплеер.

В одной реализации контроллер определяет задержку распространения посредством измерения времени передачи аудиокадров, имеющих порядковый номер, в дистанционное аудиоустройство. В конкретном варианте осуществления, проиллюстрированном на фиг.2, в 210 контроллер выбирает выходящий кадр и инициирует таймер задержки в 220 до того, как передают выбранный аудиокадр или в момент времени, когда передают выбранный аудиокадр. Выбранный аудиокадр имеет порядковый номер. На фиг.1 контроллер 112 соединен с объектом 109 транскодирования. В одном варианте осуществления контроллер запускает таймер после получения порядкового номера аудиокадра из объекта транскодирования. Запуск таймера до транскодирования отвечает за задержку, связанную с транскодированием в главном устройстве. В качестве альтернативы таймер мог бы быть инициирован после транскодирования, например, после передачи аудиокадра. Таким образом, в некоторых вариантах осуществления может быть необязательным соединять контроллер с объектом транскодирования. Например, в некоторых реализациях, объект упорядочивания может передавать аудиокадры непосредственно в контроллер, после чего контроллер получает порядковый номер из аудиокадра.

На фиг.1 главное устройство 100 передает выбранный аудио кадр, имеющий порядковый номер, в дистанционное аудиоустройство. На фиг.2 в вариантах осуществления, в которых дистанционное аудиоустройство посылает подтверждение приема в главное устройство для каждого переданного аудиокадра, контроллер ожидает подтверждения приема в 230. Подтверждение приема идентифицирует кадры, имеющие порядковый номер, таким образом, давая возможность контроллеру определять задержку, связанную с соответствующим аудиокадром. В 240 контроллер останавливает таймер после или некоторое время после приема подтверждения приема. В 250 контроллер определяет задержку передачи. Таймер обычно измеряет задержку из-за подтверждения приема аудиокадров, имеющих порядковый номер. В зависимости от того, когда инициируют таймер, таймер также может измерять задержку транскодирования, которая обычно является фиксированной для конкретного размера кадра. Эти и другая фиксированная задержка могут быть вычтены из периода таймера, чтобы позволить точное определение задержки односторонней передачи. Задержка односторонней передачи также может быть добавлена к задержке локальной обработки и/или к задержке дистанционной обработки. Задержка передачи, одна или объединенная с другой задержкой, может быть использована для того, чтобы управлять представлением видеокадров, например, посредством задержки представления видеокадров. В некоторых приложениях задержка передачи может изменяться в результате изменений в канале. Таким образом, в этих и других приложениях контроллер может отслеживать или измерять периодически задержку передачи и делать соответствующие корректировки в представление видеокадра в главном устройстве. В одной реализации контроллер коррелирует задержку передачи, связанную с аудиокадрами, с номером потребляемых видеокадров. Когда задержка превышает некоторый порог, контроллер задерживает передачу видеокадров, предоставляемых в видеоплеер, некоторым способом, чтобы синхронизировать аудио и видеокадры. В одном варианте осуществления видеокадры задерживают посредством вставки пустых кадров в последовательность кадров. В другом варианте осуществления видеокадры задерживают посредством повторения некоторых или всех видеокадров. Число видеокадров, которые повторяют и/или частота повторения обычно зависит от величины задержки, которая должна быть введена.

В другом варианте осуществления контроллер определяет задержку посредством сравнения числа видео и аудиокадров, потребляемых за период времени. Контроллер может подсчитывать число потребляемых аудиокадров посредством мониторинга частоты, с которой объект буфера передает видеокадры в видеоплеер в течение определенного интервала. Контроллер может подсчитывать число потребляемых аудио кадров посредством мониторинга подтверждений приема, принимаемых из дистанционного аудиоустройства в течение определенного интервала времени. В вариантах осуществления, в которых порядковые номера добавляют к аудио и видеокадрам, контроллер может подсчитывать аудио и видеокадры посредством мониторинга порядковых номеров аудио и видеокадров. Контроллер задерживает передачу видеокадров, предоставляемых в видеоплеер, некоторым способом, который синхронизирует аудио и видеокадры, когда задержка превышает определенный порог.

В некоторых вариантах осуществления контроллер задерживает видеокадры в течение оцененной задержки до определения задержки, связанной с передачей аудиокадров в дистанционное аудиоустройство. Оцененная задержка может быть основана на одном или более критериев. В одном варианте осуществления оцененная задержка является оценкой задержки передачи между главным устройством и дистанционным аудиоустройством. В другом варианте осуществления оцененная задержка является оценкой задержки обработки, которая происходит в главном устройстве, и/или задержки обработки, которая происходит в дистанционном устройстве. В других вариантах осуществления оцененная задержка является оценкой комбинации задержки передачи и задержки обработки, происходящей в главном устройстве и/или дистанционном аудиоустройстве. Оцененная задержка обработки может быть основана, например, на конкретном типе транскодирования. Оцененная задержка обработки также может быть основана на конкретном типе дистанционного аудиоустройства при допущении, что разные устройства имеют разные задержки обработки. Таким образом, в отличие от оцененных задержек передачи, оцененная задержка обработки обычно может быть основана на функциональных возможностях дистанционного аудиоустройства, поскольку функциональные возможности дистанционного аудиоустройства указывают задержку обработки дистанционного аудиоустройства и, по меньшей мере, некоторую задержку транскодирования, которое должно выполнить главное устройство, чтобы адаптировать дистанционное аудиоустройство. В одном варианте осуществления контроллер определяет оцененную задержку на основе информации о задержке, хранящейся в справочной таблице мультимедиа-устройства. В реализациях, в которых главное устройство связывается с дистанционным аудиоустройством через Bluetooth, главное устройство может определять тип дистанционного аудиоустройства после установления линии связи главного устройства с дистанционным аудиоустройством. Таким образом, в некоторых приложениях тип дистанционного аудиоустройства может быть использован в качестве основы для выбора оцененной задержки из справочной таблицы. Фиг.1 иллюстрирует таблицу 116 оцененных задержек, соединенную с контроллером 112.

На фиг.3 в 310 контроллер начинает процесс определения оцененной задержки. Этот процесс может быть инициирован после установления линии связи главного устройства с дистанционным аудиоустройством или после некоторого другого события, предпочтительно события, которое предшествует этой передаче аудио кадров в дистанционное аудиоустройство. В 320 контроллер получает информацию, которая может формировать основу для оцененной задержки. Затем контроллер может получить информацию об оцененной задержке из справочной таблицы. В других вариантах осуществления оцененная задержка основана более чем на одном оцененном факторе. Например, контроллер может получить информацию о типе дистанционного аудиоустройства, информацию о формате медиа и т. д. Затем контроллер может получить информацию об оцененной задержке из справочной таблицы для каждого типа информации. В 330 контроллер вычисляет оцененную задержку, например, посредством агрегирования информации об оцененной задержке из справочной таблицы. В 340 контроллер определяет, удовлетворяет ли вычисленная оцененная задержка некоторому условию, например, находится ли вне определенного интервала времени, как обсуждено выше. Если условие удовлетворяется, в 350, контроллер 112 задерживает представление видеокадров на основе оцененной задержки через объект 114 видеобуфера и задержки.

В некоторых вариантах осуществления, проиллюстрированных на фиг.1, главное устройство 100 включает в себя вход 118, который позволяет пользователю вручную управлять или корректировать синхронизацию. Ручное управление входом синхронизации может быть использовано в комбинации с управлением синхронизацией на основе оцененной задержки и/или измеренной задержки.

Фиг. 4 является общей блок-схемой процесса для синхронизации аудио и видеокадров. В 410 процесс инициализируют после инициализации видео или после установления линии связи с дистанционным аудиоустройством. В 420 инициализируют устройство оценки задержки. Иллюстративное устройство оценки задержки обсуждено выше в связи с фиг.3. На фиг.4, в 430, осуществляют мониторинг задержки между потреблением аудио и видеокадров, как обсуждено выше в связи с фиг.2. В 440 делают определение относительно того, превышает ли любая задержка между представлением или потреблением аудио и видеокадров порог времени ожидания. Этот порог связан с определенным интервалом времени, который определяет, синхронизированы или нет аудио и видеокадры, а в некоторых вариантах осуществления соответствует этому интервалу времени. В 450 предоставляют любую корректировку в представление видеокадров, необходимую для синхронизации. В 460 предоставляют любое ручное управление, сгенерированное пользователем, относительно синхронизации аудио и видеокадров. Как сказано выше, ручное управление, сгенерированное пользователем, синхронизацией аудио и видеокадров может быть независимым от любого управления на основе оцененной или измеренной задержки. В 470 контроллер осуществляет мониторинг различных управляющих сигналов, применяемых к представлению видеокадров. В 480 контроллер управляет представлением видеокадров на основе представленной обратной связи.

В соответствии с другим аспектом раскрытия видеокадры и сопровождающие аудио кадры синхронизируют посредством исключения задержки обработки. Задержка обработки может быть уменьшена в комбинации с задержкой представления видеокадров, обсужденной выше, или вместо нее. В одном варианте осуществления мультимедиа-устройство согласовано с протоколом, который поддерживает схему обязательного кодирования аудио. Например, некоторые мультимедиа-устройства с возможностью Bluetooth согласованы с усовершенствованным профилем распространения аудио (A2DP). Чтобы обеспечить функциональную совместимость этих устройств Bluetooth, содержание в собственном формате в мультимедиа-устройстве Bluetooth транскодируют в SBC, для того чтобы передавать потоком аудио кадры с использованием A2DP. Если дистанционное аудиоустройство поддерживает собственный формат кодирования в главном устройстве, содержание может быть передано в дистанционное аудиоустройство без транскодирования, таким образом, исключая задержку, связанную с транскодированием. В случае иллюстративного мультимедиа-устройства Bluetooth задержка, связанная с транскодированием SBC, может быть исключена при допущении, что дистанционное аудиоустройство поддерживает собственный формат главного мультимедиа-устройства Bluetooth.

Фиг.5 иллюстрирует процесс определения, поддерживает ли дистанционное аудиоустройство аудио формат, присущий содержанию аудио в мультимедиа-устройстве. Процесс может быть выполнен процессором, например, процессором 112 на фиг.1. В 510 запускают видеоплеер или приложение в главном мультимедиа-устройстве, которому предоставлена возможность для связи, соответствующей Bluetooth, с дистанционным аудиоустройством. В 520 идентифицируют формат кодирования аудиопотока аудиокадров. Этот формат кодирования аудио может быть поддержан или может быть не поддержан главным мультимедиа-устройством. В 530 получают аудиоформат, поддерживаемый дистанционным аудиоустройством. Один или более кодеков аудио, поддерживаемых дистанционным аудиоустройством, получают посредством главного устройства, например, из справочной таблицы, хранящейся в главном устройстве. В качестве альтернативы дистанционное аудиоустройство может передать эту информацию в главное устройство, например, после установления линии связи между устройствами. В 540 получают формат аудио, поддерживаемый посредством главного устройства. Один или более кодеков аудио, поддерживаемых посредством главного устройства, могут быть получены из справочной таблицы, хранящейся в главном устройстве. В 550 выполняют определение относительно того, поддерживают ли аудиоформат содержания мультимедиа посредством обоих устройств. Если и главное устройство, и дистанционное аудиоустройство поддерживают формат аудиосодержания аудио, в 560, аудиокадры передают в дистанционное устройство в собственном формате. В качестве альтернативы, если оба устройства не поддерживают собственный формат содержания мультимедиа, содержание транскодируют в формат, поддерживаемый обоими устройствами. На фиг.5, в 570, содержимое аудио транскодируют с использованием кодека SBC.

Несмотря на то, что настоящее раскрытие и его наилучшие способы описаны способом установления владения и предоставления возможности обычным специалистам в данной области техники реализовать и использовать раскрытие, будет понятно и оценено, что имеются эквиваленты для иллюстративных вариантов осуществления, раскрытых в настоящей заявке, и что в них могут быть сделаны модификации и изменения, не выходя за рамки объема и сущности изобретений, которые должны быть ограничены не иллюстративными вариантами осуществления, а прилагаемой формулой изобретения.

Изобретение относится к беспроводной связи и, более конкретно, к синхронизации аудио- и видеосигналов, воспроизводимых на отдельных устройствах, например на карманном электронном устройстве и беспроводном головном телефоне. Техническим результатом является обеспечение эффективной синхронизации аудио- и видеокадров. Указанный технический результат достигается тем, что мультимедиаустройство, включающее в себя объект разделения, выполненный с возможностью разделения потока мультимедиа на аудиокадры и видеокадры, объект упорядочивания, выполненный с возможностью добавления порядкового номера, по меньшей мере, к одному аудиокадру, приемопередатчик, выполненный с возможностью передачи аудиокадров в дистанционное аудиоустройство, контроллер, соединенный с видеоплеером, причем контроллер выполнен с возможностью определения задержки, связанной с передачей аудиокадров в дистанционное аудиоустройство, на основе порядкового номера и управления представлением видеокадров в видеоплеере на основе задержки. 2 н. и 17 з.п. ф-лы, 5 ил.

1. Способ синхронизации раздельных аудио и видео контентов в карманном мультимедиа-устройстве, причем способ содержит этапы, на которых:
разделяют поток мультимедиа на аудиокадры и видеокадры,
представляют видеокадры в пользовательском интерфейсе мультимедиа-устройства,
передают аудиокадры в удаленное аудиоустройство, отличное от мультимедиа-устройства,
измеряют и отслеживают задержку передачи, связанную с передачей аудиокадров на удаленное аудиоустройство,
коррелируют задержку передачи, связанную с порядковым номером аудиокадров, с порядковым номером видеокадров,
управляют представлением видеокадров в пользовательском интерфейсе мультимедиа-устройства для регулирования аудиокадров, задержанных относительно видеокадров, посредством задержки передачи видеокадров, представленных в мультимедиа-устройстве таким образом, чтобы синхронизировать аудио- и видеокадры, когда задержка передачи аудиокадров превышает установленный порог.

2. Способ по п.1, в котором управляют представлением видеокадров в пользовательском интерфейсе мультимедиа-устройства посредством задержки представления видеокадров.

3. Способ по п.1, в котором определяют оцененную задержку между аудио- и видеокадрами до определения задержки, связанной с передачей аудиокадров на удаленное аудиоустройство, задерживают представление видеокадров в пользовательском интерфейсе мультимедиа-устройства на основе оцененной задержки.

4. Способ по п.3, в котором определяют оцененную задержку на основе информации об оцененной задержке, хранящейся в справочной таблице мультимедиа-устройства.

5. Способ по п.1, в котором определяют, поддерживается ли собственная схема кодирования аудиокадров в мультимедиа-устройстве удаленным аудиоустройством и мультимедиа-устройством, передают аудиокадры в собственной схеме кодирования, а не в обязательной схеме кодирования, только если собственная схема кодирования поддерживается как удаленным аудиоустройством, так и мультимедиа-устройством.

6. Способ по п.1, в котором: передают аудиокадры в удаленное аудиоустройство для представления в удаленном аудиоустройстве, определяют дистанционную задержку обработки, связанную с обработкой аудиокадров в удаленном аудиоустройстве, управляют представлением видеокадров в мультимедиа-устройстве на основе дистанционной задержки обработки.

7. Способ по п.6, в котором определяют локальную задержку обработки, связанную с обработкой аудиокадров в мультимедиа-устройстве, управляют представлением видеокадров в мультимедиа-устройстве на основе локальной задержки обработки.

8. Способ по п.1, в котором определение задержки включает в себя измерение времени передачи аудиокадров, имеющих порядковый номер, на удаленное аудиоустройство.

9. Способ по п.1, в котором определяют задержку на основе сравнения числа потребляемых видеокадров с числом аудиокадров, потребляемых в течение общего интервала времени.

10. Мультимедиа-устройство, содержащее:
средство разделения, сконфигурированное с возможностью разделения потока мультимедиа на аудиокадры и видеокадры,
средство упорядочивания, соединенное со средством разделения, причем средство упорядочивания сконфигурировано с возможностью добавления порядкового номера, по меньшей мере, к одному аудиокадру,
видеоплеер, соединенный со средством разделения, причем видеоплеер сконфигурирован с возможностью представления видеокадров, принимаемых из средства разделения,
приемопередатчик, соединенный со средством упорядочивания, причем приемопередатчик сконфигурирован с возможностью передачи аудиокадров на удаленное аудиоустройство, отличное от мультимедиа-устройства,
контроллер, соединенный с видеоплеером,
причем контроллер сконфигурирован с возможностью измерения и отслеживания задержки передачи, связанной с аудиокадрами, передаваемыми на удаленное аудиоустройство, и корреляции задержки передачи с порядковым номером аудиокадров, с порядковым номером видеокадров,
причем контроллер сконфигурирован с возможностью управления представлением видеокадров в видеоплеере для регулирования аудиокадров, задержанных относительно видеокадров, посредством задержки передачи видеокадров представленных в видеоплеере таким образом, чтобы синхронизировать аудио- и видеокадры, когда определенная задержка аудиокадров превышает установленный порог.

11. Устройство по п.10, в котором контроллер сконфигурирован с возможностью управления представлением видеокадров на видеоплеере посредством задержки представления.

12. Устройство по п.10, в котором контроллер, сконфигурированный с возможностью определения оцененной задержки между аудио и видеокадрами до определения задержки, связанной с передачей аудиокадров на удаленное аудиоустройство, задерживает представление видеокадров в видеоплеере на основе оцененной задержки до компенсации задержки.

13. Устройство по п.12, содержащее: справочную таблицу, доступную контроллеру, причем справочная таблица хранит информацию об оцененной задержке, контроллер, сконфигурированный с возможностью определения оцененной задержки для удаленного аудиоустройства с использованием информации о задержке удаленного аудиоустройства, хранящейся в справочной таблице.

14. Устройство по п.10 содержащее: контроллер, сконфигурированный с возможностью определения, поддерживается ли собственная схема кодирования аудиокадров в мультимедиа-устройстве удаленным аудиоустройством и мультимедиа-устройством, передатчик, сконфигурированный с возможностью передачи аудиокадров в собственной схеме кодирования, а не в обязательной схеме кодирования, только если собственная схема кодирования поддерживается как дистанционным аудиоустройством, так и мультимедиа-устройством.

15. Устройство по п.10, в котором: контроллер, сконфигурирован с возможностью определения дистанционной задержки обработки, связанной с обработкой аудиокадров в удаленном аудиоустройстве, контроллер, сконфигурирован с возможностью управления представлением видеокадров в видеоплеере на основе дистанционной задержки обработки.

16. Устройство по п.15, в котором: контроллер, сконфигурирован с возможностью определения локальной задержки обработки, связанной с обработкой аудиокадров в мультимедиа-устройстве, управляет представлением видеокадров в видеоплеере на основе локальной задержки обработки.

17. Устройство по п.10, в котором мультимедиа-устройство является карманным электронным устройством.

18. Устройство по п.10, в котором контроллер сконфигурирован с возможностью определения задержки посредством измерения времени передачи аудиокадров, имеющих порядковый номер, на удаленное аудиоустройство.

19. Устройство по п.10, в котором контроллер сконфигурирован с возможностью определения задержки на основе сравнения числа видео и аудиокадров, потребляемых в течение общего интервала времени.