СИНХРОНИЗИРУЮЩЕЕ УСТРОЙСТВО ДЛЯ ПРИЕМНИКА СЖАТОГО СИГНАЛА ЗВУКА И ИЗОБРАЖЕНИЯ Российский патент 2005 года по МПК H04N7/50 H04N7/54 H04N5/44 H04N5/60 

Данное изобретение относится к устройству для синхронизации составляющих звука и/или изображения в приемнике сжатых сигналов звука и изображения.

MPEG представляет собой протокол сжатия изображений, разработанный группой экспертов по подвижным изображениям Международной организации по стандартизации. Этот протокол определяет гибкий формат сигнала, который включает как внутрикадровое кодирование, так и кодирование с предсказанием и компенсацией движения. За счет различий в формате кодирования от кадра к кадру и различий в содержимом изображения, разным кадрам соответствует существенно разный объем сжатых данных. Вследствие того, что разные кадры сжимаются в различной степени, кадры данных обычно передаются асинхронно.

Сигналы звука также могут быть сжаты согласно протоколу MPEG. Сжатые сигналы звука могут быть связаны с изображением, но переданы независимо от него. Для передачи сжатый сигнал звука разбивается на пакеты, которые затем мультиплексируются по времени со сжатым сигналом изображения несинхронным образом.

Связанные сжатые составляющие звука и изображения не только независимо асинхронны, но их временная взаимосвязь или синхронизм отсутствует при передаче.

Сжатые согласно протоколу MPEG составляющие сигналов звука и изображения могут содержать метки (PTS) времени представления для установления привязки по времени между отдельными составляющими сжатого сигнала и системным опорным тактовым сигналом. Метки времени представления сигналов звука и изображения используются приемником как для восстановления синхронизации соответствующих декомпрессированных составляющих, так и для восстановления их временной взаимосвязи.

Приемник сигнала звука и изображения в формате MPEG или в формате, аналогичном MPEG, будет обеспечивать опорные сигналы синхронизации (метки PTS времени представления) составляющих звука и изображения, совпадающие с воспроизведением соответствующих декомпрессированных составляющих сигнала. Устройство синхронизации в приемнике будет использовать метки времени представления, появляющиеся в составляющих звука и изображения, для поддержания синхронности составляющих звука и изображения. Когда система еще только вводится в синхронизм и звуковой сигнал не синхронизирован с движением на изображении, получаемом из сигнала изображения, звук обычно заглушают, так как считается, что зрителям лучше не слышать звука, чем слышать звук, который не синхронизирован с изображением, по крайней мере в течение коротких интервалов. Глушение звука обычно происходит только в течение относительно коротких интервалов времени, так как существуют сравнительно строгие требования в отношении синхронизации передаваемых составляющих звука и изображения для данного стандарта. Поэтому установление синхронизации гарантируется в течение короткого интервала.

В приемниках, предназначенных для декодирования стандартных составляющих звука и изображения, возникает проблема, если этот приемник принимает нестандартный сигнал или стандартный сигнал, который был демультиплексирован и повторно мультиплексирован в нескольких виртуальных каналах передачи. В обоих случаях относительное временное положение составляющих звука и изображения может изменяться. Синхронизация звукового сигнала с движением на изображении может отсутствовать и глушение звука может происходить в течение длительных интервалов. Такая ситуация является неприемлемой.

Вторая проблема существует в отношении способа синхронизации, когда он применяется к нестандартным сигналам. Процесс синхронизации обычно включает в себя грубую и точную синхронизацию. Данные звука обычно декодируются с опережением по отношению к данным изображения и записываются в память. Записанный сигнал звука воспроизводится из памяти, когда декодируется надлежащий сигнал изображения. Однако, если сигнал звука в нестандартном сигнале приходит слишком поздно, сигнал звука не будет готов к воспроизведению и синхронизация не сможет произойти. С другой стороны, если сигнал звука приходит слишком рано (относительно размера буфера), то будет недостаточно памяти для хранения сигнала звука и данные будут теряться. Синхронизация также не сможет произойти, возможно, в течение длительных интервалов времени.

Очевидно, что зритель скорее предпочтет, чтобы в этих случаях воспроизводились как звук, так и изображение, а не длительные периоды изображения без звука. Поэтому имеется потребность в адаптивной системе синхронизации в цифровых приемниках звука и изображения, чтобы приспосабливаться как к стандартным, так и нестандартным принимаемым сигналам.

Приемник сигналов звука и изображения в соответствии с данным изобретением обеспечивает опорные сигналы времени (метки PTS времени представления) для синхронизации составляющих звука и изображения, совпадающие с воспроизведением соответствующих декомпрессированных сигналов составляющих. Схемы синхронизации формируют функцию разности появления составляющих звука и изображения. Эта функция характеризует относительную синхронизацию звука и изображения. Если значение функции находится в определенном диапазоне, процесс синхронизации продолжается. Если значение функции превышает заранее заданный уровень, то процесс синхронизации завершается и воспроизводятся несинхронизированные составляющие звука и изображения. В еще одной форме осуществления изобретения для заданного диапазона значений этой функции процесс синхронизации продолжается, но составляющая звука заглушается.

Фиг.1 изображает блок-схему устройства для сжатия сигналов звука и изображения.

На фиг.2 показана блок-схема устройства для декомпрессии сжатых сигналов звука и изображения согласно настоящему изобретению.

На фиг.3 приведена блок-схема устройства для обеспечения тактового сигнала системы в приемнике, имеющего по существу ту же частоту, что и тактовый сигнал системы в устройстве сжатия.

На фиг.4 приведена блок-схема алгоритма работы устройства, показанного на фиг.2.

На фиг.5 показана блок-схема альтернативной схемы глушения звука, которая может быть использована в устройстве, показанном на фиг.2.

На фиг.1 показана типичная система передачи сжатого цифрового сигнала изображения, в которой может быть использовано изобретение. В данной системе сигнал изображения от источника 10 подается на компрессор 11 сигнала изображения, который может содержать кодер с предсказанием и компенсацией движения, использующий дискретные косинусные преобразования. Сжатый сигнал изображения из компрессора 11 подается на форматтер 12. Форматтер размещает сжатый сигнал изображения и другие вспомогательные данные согласно некоторому протоколу сигнала, например стандарту MPEG. Приведенный в соответствие со стандартом сигнал подается на транспортный процессор 13, который разделяет сигнал на пакеты данных и добавляет к ним некоторые дополнительные данные для обеспечения помехозащищенности при передаче. Транспортные пакеты, которые обычно появляются с непостоянной скоростью, вводятся в буфер 14 скорости, обеспечивающий вывод данных со сравнительно постоянной скоростью, что способствует эффективному использованию относительно узкой полосы канала передачи. Буферизованные данные подаются на модем 15, который осуществляет передачу сигнала.

Тактовый генератор 22 системы генерирует тактовый сигнал для приведения в действие многих элементов устройства, включающих по меньшей мере транспортный процессор. Этот тактовый генератор работает на фиксированной частоте, например 27 МГц. Однако, как показано здесь, он используется для формирования синхронизирующей информации. Тактовый генератор системы подключен к счетному входу счетчика 23, который может считать, например, по модулю 2³⁰. Значения отсчета с выхода счетчика подаются на два регистра-защелки 24 и 25. Источник сигнала изображения так управляет регистром 24, что в нем фиксируются значения отсчета при появлении соответствующих кадровых интервалов. Эти значения отсчета представляют собой метки PTS времени представления, которые включаются в поток данных сжатого сигнала изображения форматтером 12 и используются приемником для обеспечения синхронизации связанной информации звука и изображения. Регистр 25 управляется транспортным процессором 13 (или контроллером 21 системы) так, что он фиксирует значения отсчетов согласно заранее установленной программе. Эти значения отсчетов называются отсчетами (SCR) системного времени, которые вставляются в качестве вспомогательных данных в соответствующие вспомогательные транспортные пакеты.

Сигнал звука, связанный с сигналом изображения, от источника 10 подается на компрессор 18 сигнала звука. Компрессор 18 формирует импульсы отсчета кадров (независимые от кадров изображения) для управления регистром-защелкой 19. Реагируя на импульсы отсчета кадров, регистр 19 запоминает значения отсчета, выдаваемые счетчиком 23. Эти зафиксированные значения соответствуют меткам PTS_aud времени представления звука. Метки PTS_aud включаются в состав сжатого сигнала звука, формируемого компрессором 18. Сжатый сигнал звука подается на транспортный процессор 17, который делит сигнал на пакеты данных и добавляет дополнительные данные, чтобы обеспечить помехозащищенность при передаче сигнала. Формируемые процессором 17 транспортные пакеты звука подаются на мультиплексор 16, который уплотняет с разделением по времени транспортные пакеты звука и изображения. На фиг.1 в каналах обработки сигналов звука и изображения показаны отдельные транспортные процессоры. В системах с невысокой скоростью передачи данных функции двух транспортных процессоров и мультиплексора 16 могут быть реализованы одним транспортным процессором.

Контроллер 21 системы представляет собой конечный автомат, запрограммированный для согласования работы различных устройств обработки. Следует заметить, что контроллер 21, компрессоры 11 и 18, транспортные процессоры 13 и 17 и буфер 14 скорости могут работать или не работать синхронно с использованием схемы общей тактовой синхронизации, пока обеспечивается надлежащее синхронное взаимодействие устройств обработки. Однако оба компрессора получают значения меток времени представления PTS от одного и того же опорного счетчика 23, что обеспечивает точную временную взаимосвязь между двумя сжатыми сигналами в сжатом выходном сигнале.

Фиг.2 иллюстрирует пример приемного устройства согласно изобретению, в котором модем 200 выполняет функцию, обратную функции модема 15, а буфер 206 скорости выполняет, по существу, функцию, обратную функции буфера 14. Обратный транспортный процессор 202 разделяет соответствующие транспортные пакеты по назначению и распределяет полезные данные пакета в разные блоки памяти в буфере 206 скорости. При этом полезные данные сигнала соответствующего транспортного пакета отделяются от вспомогательных данных, причем вспомогательные данные подаются на контроллер 210 системы. В альтернативной схеме каждый канал обработки может иметь отдельный транспортный процессор для распознавания и обработки только тех данных, которые связаны с этим каналом.

Сжатые данные изображения от буфера 206 скорости поступают на декомпрессор 214 сигнала изображения. Буфер 206 скорости принимает сжатые данные изображения порциями или с непостоянной скоростью и выдает данные по запросу в декомпрессор 214. Реагируя на сжатый сигнал изображения, декомпрессор формирует несжатый сигнал изображения для воспроизведения, запоминания и т.п. с помощью подходящих отображающих или запоминающих устройств (не показаны).

Сжатые данные звука от обратного транспортного процессора 202 подаются в буфер 206 скорости, который подает сжатый сигнал звука, соответствующий протоколу системы, в декомпрессор 212 сигнала звука. Реагируя на сжатый сигнал звука, декомпрессор 212 формирует декомпрессированный (несжатый) сигнал звука для воспроизведения, записи и т.п. с помощью подходящих звуковоспроизводящих или запоминающих устройств (не показаны).

Обратный процессор 202 также формирует отсчеты SCR системного времени из вспомогательных транспортных данных и управляющие сигналы для тактового генератора 208 системы. Реагируя на эти сигналы, тактовый генератор формирует тактовый сигнал системы, синхронный по меньшей мере с работой транспортного процессора. Этот тактовый сигнал системы подается на контроллер 210 приемной системы для управления синхронизацией соответствующих устройств обработки сигналов.

На фиг.3 показаны элементы взятого в качестве примера регенератора 208 тактового сигнала. Данные от модема 200 приемника подаются на обратный транспортный процессор 202', содержащий детектор 31 вспомогательных пакетов. Обратный транспортный процессор 202' отделяет данные транспортного заголовка от полезных данных соответствующего транспортного пакета. Реагируя на данные транспортного заголовка, процессор 202' демультиплексирует полезные данные связанных составляющих звука и изображения желаемой программы и полезные данные связанных вспомогательных данных. Полезные данные сигналов звука, изображения и вспомогательные данные записываются в отдельные блоки памяти буфера 208 скорости. Каждый из соответствующих блоков памяти работает по принципу "первый вошел - первый вышел", записывая данные, в случае их наличия, из модема и считывая данные по запросу от процессора соответствующей составляющей сигнала (не показаны). Отсчеты SCR системного времени, имеющиеся в отдельных вспомогательных пакетах, направляются в память 34 и хранятся в ней.

Детектор 31 вспомогательных пакетов, который может быть выполнен как согласованный фильтр для распознавания кодовых слов, обозначающих вспомогательный транспортный пакет, содержащий отсчеты SCR системного времени, формирует управляющий импульс при появлении транспортных пакетов, содержащих такие данные. Управляющий импульс используется для запоминания регистром-защелкой 35 текущего значения отсчета местного счетчика 36 в момент, точно соответствующий времени обнаружения вспомогательных пакетов. Местный счетчик 36 подсчитывает импульсы, поступающие от генератора 37, управляемого напряжением. Счетчик 36 осуществляет счет по модулю М, где М может быть, хотя и необязательно, тем же самым числом, что и у аналогичного счетчика в кодере (счетчика 23). Если М отличается от N, то различие может быть учтено в уравнении ошибки.

Генератор 37, управляемый напряжением, управляется отфильтрованным с помощью фильтра 38 нижних частот сигналом ошибки, который формируется контроллером 39 тактового сигнала. Сигнал ошибки формируется следующим образом. Обозначим отсчет системного времени SCR, приходящий в момент "n", как SCR_n, а значение отсчета местного счетчика, одновременно запоминаемое в регистре-защелке 35, обозначим как LCR_n. Контроллер тактового сигнала считывает последовательные значения отсчетов SCR и LCR и формирует сигнал ошибки, пропорциональный разностям

Е⇒|SCR_n-SCR_n-1|-|LCR_n-LCR_n-1|.

Сигнал Е ошибки используется для управления частотой генератора 37 так, чтобы разности в приведенном выражении были равны. Как было указано выше, отрицательные разности, получающиеся из-за циклического перехода счетчика по модулю, могут игнорироваться. Сигнал ошибки, формируемый контроллером 39 тактового сигнала, может иметь форму сигнала с широтно-импульсной модуляцией, который может быть преобразован в аналоговый сигнал ошибки с помощью аналогового фильтра 38 нижних частот.

В такой системе необходимо, чтобы счетчики на двух концах системы подсчитывали импульсы одной частоты или ее четных гармоник. Для этого номинальная частота генератора, управляемого напряжением, должна быть весьма близкой к частоте системного тактового сигнала в кодере.

Рассмотренный подход обеспечивает довольно быструю синхронизацию, но может вносить долговременную ошибку. Долговременная ошибка LTE пропорциональна разности

LTE⇒|LCR_n-LCR_o|-|SCR_n-SCR_o|,

где SCR_o и LCR_o обозначают, например, первый появившийся отсчет системного времени SCR и соответствующее зафиксированное значение отсчета счетчика приемника. Фактически, сигналы Е и LTE ошибок будут изменяться дискретно. Таким образом, когда система "синхронизирована", сигнал ошибки будет колебаться относительно нулевой точки на единицу. Предпочтительный способ синхронизации заключается в том, что управление генератором, управляемым напряжением, начинают, используя сигнал Е ошибки, и осуществляют его до появления в сигнале Е ошибки колебаний на единицу, после чего используют сигнал долговременной ошибки LTE для управления генератором, управляемым напряжением.

Системный тактовый сигнал, генерируемый кварцевым генератором 37, управляемым напряжением, может использоваться по меньшей мере для транспортного процессора и буферов скорости. Поскольку он синхронизируется по частоте по меньшей мере с системным тактовым сигналом в кодере, возможность переполнения или очищения буфера скорости вследствие ошибок синхронизации тактовых сигналов по существу отсутствует.

Синхронизация сигналов звука и изображения объясняется с помощью фиг.2. Как было отмечено выше, метки PTS_vid времени представления изображения включаются в сжатый сигнал изображения, связанный с заранее определенными данными изображения. Метка PTS_vid является указателем относительного времени, когда должно быть воспроизведено соответствующее изображение. Аналогично, сжатый сигнал звука содержит метки PTS_aud времени представления звука, связанные со звуком, который должен быть воспроизведен в моменты, привязанные к соответствующим PTS_aud. В приемнике PT_saud и PTS_vid не могут сравниваться непосредственно для обеспечения синхронизации звука и изображения, так как соответствующие отсчеты были сделаны в разные моменты времени. Соответствующие значения меток времени представления сравниваются с непрерывным опорным хронирующим сигналом, в качестве которого выступает тактовый сигнал приемника, формируемый генератором 37. Это сравнение осуществляется путем фиксации значений отсчета LCR местных тактовых импульсов, вырабатываемых тактовым генератором 208 системы, для получения местных меток времени представления.

Когда появляются данные, связанные с соответствующими метками времени представления, снимается отсчет LCR местного счетчика. Например, декомпрессор 212 сигнала звука выдает PTS_aud, когда соответствующий кадр звукового сопровождения выводится для воспроизведения. В эти моменты времени управляющий сигнал заставляет регистр-защелку 220 снять отсчет LCR, значение которого обозначим как LAS (местная метка времени представления звука). Аналогично, когда декомпрессор сигнала изображения выдает кадр изображения для воспроизведения, он выдает PTS_vid, а также управляющий импульс, заставляющий регистр-защелку 222 запомнить текущее значение LCR отсчета местного счетчика. Эти значения LCR обозначены как LVS (местные метки времени представления изображения).

Значения местной метки LAS времени представления звука и соответствующей ей метки PTS_aud подаются на входы вычитателя 218, который образует сигнал Δ_A-PTS в соответствии с зависимостью

Δ_A-PTS=PTS_aud-LAS.

Значения LVS и соответствующей ей метки PTS_vid подаются на входы вычитателя 217, который образует сигнал Δ_V-PTS в соответствии с зависимостью

Δ_V-PTS=PTS_vid-LVS.

Сигналы Δ_V-PTS и Δ_A-PTS подаются на соответствующие входы еще одного вычитателя 219, который вырабатывает сигнал ERR_PTS ошибки синхронизации звука и изображения в соответствии с зависимостью

ERR_PTS=Δ_V-PTS-Δ_A-PTS.

Для обеспечения синхронизации звука и изображения требуется, чтобы ошибка синхронизации сигналов звука и изображения была сведена к нулю. Таким образом, когда разность значений соответствующих меток времени представления звука и изображения равняется времени, выраженному через период повторения местного опорного сигнала, между появлением соответствующих меток PTS, сигналы звука и изображения будут синхронными.

Вспомним, однако, что если ошибка синхронизации превышает определенное значение, зависящее от доступной памяти декодера звука, составляющие звука и изображения не смогут быть синхронизированы и попытка сделать это приведет к потере данных звука или созданию нежелательных искажений воспроизводимого звука. Поэтому для значений ошибки, превышающих определенный порог, синхронизация звука и изображения должна быть приостановлена.

Могут быть использованы два механизма для подстройки синхронизации сигналов звука и изображения на основе сигнала ERR_PTS ошибки: пропуски и повторения сегментов данных и отклонение частоты тактового сигнала преобразования. Пропуск фиксированных интервалов или "кадров" звука вызывает продвижение потока данных звукового сопровождения вперед на фиксированный интервал относительно сигнала изображения. Повторение (или заглушение без использования данных) задерживает поток данных звука на фиксированные интервалы относительно сигнала изображения. Пропуск и повторение кадров звука в некоторых случаях могут быть заметны на слух и поэтому используются только для грубой подстройки синхронизации. Тем не менее, кратковременный пропуск или повторение может быть предпочтительным для значительных ошибок синхронизации сигналов звука и изображения. Если кадры звука имеют длительность менее 40 мс, то грубая подстройка с помощью пропуска или повторения может давать ошибки синхронизации в пределах ±20 мс, что соответствует стандартам синхронизации звука и изображения. Однако эта синхронизация будет ухудшаться, если опорный хронирующий сигнал, используемый для преобразования сигнала звука, не будет совпадать с опорным сигналом источника. Когда синхронизация подстроена грубо, с целью дополнительного повышения точности синхронизации сигналов звука и изображения используются изменения тактовой частоты преобразования сигнала звука.

Сигнал ERR_PTS ошибки подается в блок 216 фильтрации и обработки. Функция фильтрации, выполняемая этим блоком, обеспечивает сглаживание сигнала ERR_PTS, чтобы минимизировать отклонения, которые в противном случае могут создаваться шумами в сигнале. Схема обработки в блоке 216 проверяет сглаженный сигнал ошибки и определяет, должен ли быть использован пропуск или повторение данных звука для выполнения грубой синхронизации сигналов звука и изображения и/или следует использовать подстройку частоты обработки сигнала звука для осуществления точной синхронизации, либо никакая из этих операций не должна выполняться. Если установлено, что необходима грубая подстройка синхронизации, то процессор 216 подает на декомпрессор 212 сигнала звука управляющий сигнал (S/R), заставляющий этот декомпрессор пропустить или повторить текущий кадр декомпрессированных данных звука. Вместо грубой подстройки или в дополнение к ней, если определена необходимость точной подстройки, процессор 216 подает управляющий сигнал в блок 215 опорного хронирующего сигнала канала звука, чтобы подстроить частоту тактового сигнала обработки сигнала звука.

Алгоритм обработки подробно поясняется структурной схемой на фиг.4. После шага 400 инициализации системы, обозначенного как "СТАРТ", система контролирует (401) появление метки PTS_aud времени представления сигнала звука в декомпрессоре сигнала звука и если эта метка PTS_aud обнаружена, то она считывается на шаге 403, и при этом запоминается значение отсчета LAS местного опорного тактового сигнала. Если PTS_aud не появилась, то система проверяет декомпрессор сигнала изображения на наличие метки PTS_vid времени представления изображения (402). Если PTS_vid появилась, она считывается, и при этом вводится и запоминается значение отсчета LVS местного опорного тактового сигнала. Когда обе метки PTS_aud и PTS_vid считаны, на шаге 405 вычисляется сигнал ошибки ERR_PTS согласно уравнению

ERR_PTS=Δ_V-PTS-Δ_A-PTS.

Затем проверяется (420) модуль сигнала ошибки, чтобы определить, не превышает ли он заранее заданное максимальное значение, зависящее от объема задерживающего запоминающего устройства в декодере звука. Если ошибка превышает этот максимум, на шаге 421 выполняется проверка, чтобы определить, как долго существует это состояние. Если оно длится дольше, чем заранее заданное или выбираемое время N секунд, то тогда процесс синхронизации приостанавливается (422). Если это состояние существовало менее чем N секунд, процесс синхронизации продолжается на шаге 406. Так как функции пропуска и повтора по-разному воздействуют на заполнение запоминающего устройства звука, порог в N секунд может отличаться для положительных и отрицательных значений сигнала ошибки.

Модуль сигнала ошибки проверяется на шаге 406, чтобы определить, не превышает ли он, например, половины длительности звукового кадра. Если он больше, чем половина длительности звукового кадра, то сигнал ошибки проверяется на полярность на шаге 407. Если полярность положительна, текущий кадр звука повторяется (409). Если она отрицательна, текущий кадр звука пропускается на шаге 408. После пропуска или повторения кадра система снова возвращается к начальному состоянию для ожидания следующего появления меток времени представления.

Если на шаге 406 модуль сигнала ошибки меньше, чем половина длительности звукового кадра, то на шаге 410 определяется, превышает ли ошибка нуль. Если ошибка больше нуля, то на шаге 412 определяется, меньше ли она, чем предыдущий сигнал ошибки. Если она меньше, чем предыдущий сигнал ошибки, то это является показателем того, что система приближается к синхронизации и параметры управления синхронизацией не изменяются. Система возвращается к начальному состоянию для ожидания следующих меток времени представления. Если же ошибка увеличилась относительно предыдущего сигнала ошибки, то тактовый сигнал обработки сигнала звука подстраивается на шаге 414 так, чтобы уменьшить его частоту.

Если на шаге 410 ошибка меньше нуля (отрицательна), то на шаге 411 определяется, больше ли она, чем предыдущий сигнал ошибки. Если она больше, чем предыдущий сигнал ошибки, это также является показателем того, что система приближается к состоянию синхронизации и параметры управления синхронизацией не изменяются. Если же текущий сигнал ошибки меньше, чем предыдущий сигнал ошибки, то система стремится к дальнейшему выходу из синхронизации и частота тактового сигнала обработки сигнала звука увеличивается на шаге 413. После выполнения шагов 412 и 413 система возвращается к ожиданию появления следующих меток времени представления. Следует заметить, что в этом примере система осуществляет только грубые подстройки посредством пропуска или повторения кадров звука до тех пор, пока ошибка синхронизации сигналов звука и изображения не станет менее половины длительности кадра звука.

В соответствии с другим вариантом осуществления изобретения отфильтрованный сигнал ошибки сравнивается с заданным порогом, связанным с размером соответствующих кадров звука. Если сигнал ошибки меньше, чем порог, т.е. ошибка синхронизации сигналов звука и изображения меньше длительности кадра звука, то сигнал ошибки подается на блок 215 опорного хронирующего сигнала канала звука, где он используется для подстройки частоты тактового сигнала обработки (декомпрессии) сигнала звука. Если сигнал ошибки больше, чем порог, то сигнал ошибки можно разделить на величину, равную длительности кадра звука, чтобы определить число кадров звука, на которое рассогласованы сигналы звука и изображения. Целая часть частного подается на декомпрессор сигнала звука, чтобы заставить его пропустить или повторить такое число кадров звука. Полярность сигнала ошибки будет определять, должны ли кадры звука быть пропущены или повторены. Как правило, перед кодированием сжатые данные помещаются в буферное запоминающее устройство, поэтому пропуск или повторение кадров звука достигается просто путем управления выполнением команд считывания или записи в запоминающем устройстве.

Дробная часть частного подается на блок 215 опорного хронирующего сигнала канала звука, где она используется для подстройки частоты тактового сигнала обработки сигнала звука с целью достижения точной синхронизации звука и изображения.

Скорость получения меток времени представления звука пропорциональна скорости обработки в декомпрессоре сигнала звука. Эта скорость обработки прямо пропорциональна частоте тактового сигнала, используемого для работы декомпрессора сигнала звука. Если частота тактового сигнала декомпрессора сигнала звука не зависит от тактового сигнала, используемого для работы декомпрессора сигнала, и может точно регулироваться, то может регулироваться относительная скорость появления меток времени представления звука и изображения, а звук и изображение могут быть точно синхронизированы.

Декомпрессированный сигнал звука подается на цифроаналоговый преобразователь 227 (ЦАП). Выходной аналоговый сигнал с ЦАП 227 подается на схему дополнительной аналоговой обработки (не показана) через резистор 228. Между резистором 228 и землей включена проводящая цепь, образованная транзистором 229 глушения звука. Управляющий электрод транзистора подключен к выходу порогового детектора 225. Положительное управляющее напряжение большее, чем Vbe, заставляет транзистор 229 зафиксировать уровень выходного сигнала звука от ЦАП 227 равным потенциалу земли, тем самым подавляя сигнал звука.

Обычно сжатый сигнал звука включает несколько составляющих, таких как сигнал левого канала, сигнал правого канала и т.п. На фиг.2 для простоты показан только один выходной сигнал звука, хотя каждый канал будет включать схему глушения звука, управляемую общим сигналом управления глушением звука.

Подавление сигнала звука выполняют по нескольким причинам, из которых нарушение синхронности звука с движением на изображении не является последней. Данное устройство уникально тем, что глушение звука в нем производится на основе сигнала рассинхронизации сигналов звука и изображения.

Телезритель замечает нарушение синхронизации сигналов звука и изображения, соответствующее -20 мс или +40 мс. В приведенной в качестве примера системе звук глушится, если ошибка синхронизации сигналов звука и изображения превышает примерно 13 мс. Пороговое значение было выбрано равным 13 мс, что меньше 20 мс, но больше половины кадра звука второго уровня MPEG-1 (длительность которого 24 мс). Пороговое значение выбрано чуть больше половины кадра звука, поскольку при пропуске или повторении кадров, которые производятся для достижения синхронизации сигналов звука и изображения, возможно начальное состояние процесса синхронизации с величиной ошибки, равной половине кадра (12 мс), и если порог равен примерно 12 мс или меньше, то синхронизация будет достигнута, но звуковой сигнал подавлен. Кроме того, если порог равен половине кадра, то происходит прерывистое глушение звука при незначительной флуктуации вычисленных ошибок синхронизации сигналов звука и изображения из-за погрешностей при снятии отсчетов тактового сигнала и меток PTS времени представления.

Сигнал управления глушением формируется пороговым детектором 225, который контролирует сигнал ошибки синхронизации сигналов звука и изображения, поступающий из вычитателя 219. Когда сигнал ошибки превышает значение, соответствующее 13 мс, генерируется сигнал управления глушением звука. Для того чтобы шум или другие импульсные помехи не вызывали формирования ложных сигналов глушения звука, сигналы ошибки от вычитателя 219 могут быть отфильтрованы фильтром нижних частот перед подачей на пороговый детектор 225.

Пунктирные стрелки от детектора 225 к цифроаналоговому преобразователю 227 и декомпрессору 212 сигнала звука показывают альтернативный вариант глушения. Например, сигнал управления глушением может быть предназначен для блокировки выходного сигнала ЦАП 227 или декомпрессора 212. В обоих случаях должна быть предусмотрена такая блокировка, чтобы при ней соответствующий блок обработки формировал выходной сигнал, лежащий в середине динамического диапазона этого сигнала. На фиг.2 также показано, что может быть реализовано подавление сигнала изображения (или гашение) путем управления цифроаналоговым преобразователем 224 сигнала изображения.

Управление глушением может быть приостановлено, если синхронизация слишком далека от сходимости. Детектор 225 может сравнивать сигнал ошибки с максимальным порогом и приостанавливать глушение, если сигнал ошибки превышает этот порог или если он превышает максимальный порог в течение заранее заданного времени, либо просто если глушение происходит дольше заранее заданного интервала времени. Управление приостановкой глушения также может обеспечиваться процессором 216 на шаге 422.

На фиг.5 изображен альтернативный вариант глушения звука. В соответствии с этим вариантом сигнал пропуска/повторения (S/R), формируемый фильтром 216, используется как первичный сигнал управления глушением. Этот сигнал поступает на схему глушения звука через схему 230 ИЛИ и схему 233 И. Схема 233 И используется для отмены глушения в ответ на сигнал ПРИОСТАНОВИТЬ ГЛУШЕНИЕ от процессора 216. Схема 233 И, вообще говоря, показана условно, так как приостановка глушения вероятнее всего будет осуществляться в самом формирователе сигнала управления глушением. Если в некоторой конкретной системе период тактового сигнала, управляющего декомпрессором сигнала звука, может для достижения точной синхронизации регулироваться в диапазоне, равном по меньшей мере половине кадра звука, то в нее может быть введен пороговый детектор 231, который контролирует сигнал управления частотой указанного тактового сигнала и формирует вторичный сигнал управления глушением звука. Этот вторичный сигнал управления также подается на схему глушения через схему 230 ИЛИ.

В устройстве на фиг.5 предусмотрена дополнительная схема глушения звука, состоящая из схемы 226 И для выборочной подачи декомпрессированного сигнала звука от декомпрессора 212 на ЦАП 227. Обычно сигналы звука являются биполярными (т.е. сигналами переменного тока) и колеблются вокруг нулевого значения. Схема И в непроводящем состоянии выдает предпочтительно нулевое значение, являющееся серединой динамического диапазона сигнала.

В настоящее время разрабатываются системы прямой спутниковой передачи сжатого сигнала звука и изображения, где множество пакетированных программ мультиплексируются с разделением по времени и передаются через один ретранслятор. Отдельная программа может включать только сигнал звука, так что проблема синхронизации сигнала звука и изображения будет исключена. Однако может воспроизводиться нежелательный звук, если не синхронизирован системный тактовый сигнал. Поэтому в систему может быть включен дополнительный пороговый детектор 232 для контроля сигнала ошибки, вырабатываемого контроллером 39 тактового сигнала, показанным на фиг.3. Пороговый детектор 232 формирует сигнал управления подавлением звука, когда сигнал ошибки, вырабатываемый контроллером, соответствует отклонению частоты от частоты, которая должна быть при синхронизации, например, на 0,2. Этот сигнал управления глушением звука подается на схему 230 ИЛИ для подавления сигнала звука до тех пор, пока системный тактовый сигнал не будет в основном синхронизирован с соответствующим тактовым сигналом кодирования. Аналогично может быть подключен детектор для измерения отклонения частоты блока 215 опорного хронирующего сигнала канала звука с формированием дополнительного сигнала глушения, который может проходить через схему 230 ИЛИ.

Изобретение относится к радиотехнике и предназначено для синхронизации составляющих звука и/или изображения в приемнике сжатых сигналов звука и изображения. Технический результат - повышение точности синхронизации составляющих звука и изображения. Для этого приемник сжатого сигнала звука и изображения содержит схемы для измерения относительной рассинхронизации декомпрессированных сигналов звука и изображения. Если рассинхронизация сигналов звука и изображения находится в пределах первого диапазона значений, схемы синхронизации будут пытаться надлежащим образом синхронизировать сигналы по времени. Если же фактическая рассинхронизация превышает пределы первого диапазона, попытки синхронизировать сигналы приостанавливаются и на выход подаются несинхронизированные сигналы звука и изображения. 2 н. и 9 з.п. ф-лы, 5 ил.

1. В приемнике для обработки сжатого сигнала звука и изображения устройство, содержащее детектор (200, 202, 206) для подачи упомянутого сжатого сигнала звука и изображения, декомпрессор (212) сигнала звука, реагирующий на сжатый сигнал звука и изображения для формирования декомпрессированного сигнала звука, декомпрессор (214) сигнала изображения, реагирующий на сжатый сигнал звука и изображения для формирования декомпрессированного сигнала изображения, и детектор (217-222) ошибки, реагирующий на метки времени, подаваемые с декомпрессированным сигналом звука и декомпрессированным сигналом изображения, для формирования сигнала ошибки, который является мерой рассинхронизации связанных декомпрессированных сигналов звука и изображения, отличающееся тем, что оно содержит процессор (216), реагирующий на значения указанного сигнала ошибки, находящиеся в первом диапазоне величин, путем управления указанным декомпрессором звука для осуществления процесса синхронизации связанных декомпрессированных компонент звука и изображения путем пропуска или повторения сегментов декомпрессированного сигнала звука и реагирующий на значения сигнала ошибки, превышающие указанный первый диапазон, путем предотвращения указанного процесса синхронизации связанных декомпрессированных компонент звука и изображения.2. Устройство по п.1, отличающееся тем, что указанный процессор включает схемы для определения продолжительности времени, в течение которого сигнал ошибки находится за пределами указанного первого диапазона, причем процессор предотвращает процесс синхронизации связанных декомпрессированных компонент звука и изображения только тогда, когда продолжительность времени, в течение которого сигнал ошибки находится за пределами указанного первого диапазона, превышает заранее заданный период времени.3. Устройство по п.1, отличающееся тем, что оно содержит схемы глушения, реагирующие на указанные сигналы ошибки, для глушения декомпрессированного сигнала звука, когда сигнал ошибки находится в некотором заданном диапазоне значений.4. Устройство по п.3, отличающееся тем, что схемы глушения содержат пороговый детектор, реагирующий на сигнал ошибки для формирования сигнала управления, имеющего первое и второе состояния, когда первый сигнал ошибки соответственно больше и меньше, чем заранее заданный порог, и средства фиксации сигнала, реагирующие на сигнал управления, для пропускания на выход декомпрессированного сигнала звука, когда сигнал управления имеет второе состояние, и для выдачи заменяющего значения для декомпрессированного сигнала звука, когда сигнал управления имеет первое состояние.5. Устройство по п.4, отличающееся тем, что оно содержит схемы синхронизации, реагирующие на сжатый сигнал звука и изображения, для формирования системного тактового сигнала, заданным образом связанного с системным тактовым сигналом кодера, используемым при формировании сжатого сигнала звука и изображения, и включающие детектор для формирования дополнительного сигнала ошибки, который является мерой рассинхронизации упомянутого системного тактового сигнала, дополнительный пороговый детектор, реагирующий на дополнительный сигнал ошибки, для формирования сигнала управления, имеющего первое и второе состояния, когда дополнительный сигнал ошибки соответственно больше и меньше, чем дополнительный заранее заданный порог, и схему ИЛИ для объединения указанных сигналов управления от указанных порогового детектора и дополнительного порогового детектора.6. Устройство по п.1, отличающееся тем, что детектор ошибки представляет собой детектор нарушения синхронности звука с движением на изображении.7. Устройство по п.1, отличающееся тем, что составляющие звука и изображения упомянутого сигнала звука и изображения содержат соответствующие метки PTS_aud времени представления звука и метки PTS_vid времени представления изображения, определенные в заранее заданные моменты времени и связанные с системным тактовым сигналом кодера, при этом декомпрессоры сигналов звука и изображения выдают метки PTS_aud и PTS_vid времени представления звука и изображения вместе с соответствующими декомпрессированными сигналами звука и изображения, а указанный детектор ошибки включает источник местного тактового сигнала, средства определения времени Т, выраженного в периодах местного тактового сигнала, между моментами появления соответствующих меток PTS_aud и PTS_vid времени представления звука и изображения, и средства вычисления разности между значениями соответствующих меток PTS_aud и PTS_vid времени представления звука и изображения и сравнения этой разности с указанным временем Т для формирования сигнала ошибки синхронизации звука и изображения.8. Устройство по п.1, отличающееся тем, что составляющие звука и изображения указанного сигнала звука и изображения содержат соответствующие метки PTS_aud времени представления звука и метки PTS_vid времени представления изображения, определенные в заранее заданные моменты времени и связанные с системным тактовым сигналом кодера, при этом декомпрессоры звука и изображения выдают указанные метки PTS_aud и PTS_vid времени представления звука и изображения вместе со связанными декомпрессированными сигналами звука и изображения, а указанный детектор формирует указанный сигнал ошибки как функцию от разности значений меток PTS_aud времени представления звука и меток PTS_vid времени представления изображения для связанных декомпрессированных сигналов звука и изображения.9. Способ синхронизации составляющих звука и изображения в приемнике сжатого сигнала звука и изображения, согласно которому определяют значения времени рассинхронизации декомпрессированных сигналов звука и изображения и, если указанные значения меньше заранее заданного времени, то осуществляют процесс синхронизации декомпрессированных сигналов звука и изображения путем пропуска или повторения сегментов декомпрессированного сигнала звука и подают на выход синхронизированные или частично синхронизированные декомпрессированные сигналы звука и изображения, а если указанные значения больше указанного заранее заданного времени, то предотвращают или приостанавливают указанный процесс синхронизации декомпрессированных сигналов звука и изображения и подают на выход несинхронизированные декомпрессированные сигналы звука и изображения.10. Способ по п.9, отличающийся тем, что дополнительно определяют продолжительность времени, в течение которого указанные значения больше указанного заранее заданного времени, и приостанавливают процесс синхронизации декомпрессированных сигналов звука и изображения только в том случае, если указанная продолжительность времени больше некоторой заранее заданной продолжительности.11. Способ по п.9, отличающийся тем, что дополнительно сравнивают значения времени рассинхронизации с некоторым диапазоном значений и заглушают указанный сигнал звука, если указанные значения больше некоторого дополнительного заранее заданного времени, и осуществляется указанный процесс синхронизации.