УСТРОЙСТВО В ПРИЕМНИКЕ ДЛЯ ОБРАБОТКИ СЖАТОГО СИГНАЛА ЗВУКА/ИЗОБРАЖЕНИЯ Российский патент 2000 года по МПК H04N5/04 

Изобретение относится к устройству для управления подавлением составляющих звука и/или изображения в приемнике сжатых сигналов звука/изображения.

MPEG представляет собой протокол сжатия изображений, установленный группой экспертов по подвижным изображениям Международной организации по стандартизации. Этот протокол определяет гибкий формат сигнала, который включает как внутрикадровое кодирование, так и кодирование с предсказанием и компенсацией движения. За счет различий в формате кодирования от кадра к кадру и различий в содержимом изображения разные кадры имеют разное количество сжатых данных. Вследствие того, что разные кадры сжимаются с разным количеством данных и т.п., кадры данных имеют тенденцию передаваться асинхронно.

Сигналы звука также могут быть сжаты согласно протоколу MPEG. Сжатые сигналы звука могут быть связаны с изображением, но передаваться независимо. Для передачи сжатый сигнал звука разбивается на пакеты, которые затем мультиплексируются по времени со сжатым сигналом изображения несинхронным образом.

Связанные сжатые составляющие звука и изображения не только независимо асинхронны, но их временная взаимосвязь или синхронизм отсутствует при передаче.

Сжатые согласно MPEG составляющие сигналов звука и изображения могут содержать отметки времени воспроизведения (PTS) для установления привязки по времени между отдельными составляющими сжатого сигнала и системным опорным тактовым сигналом. Отметки времени воспроизведения сигналов звука и изображения используются приемником как для восстановления синхронизации соответствующих декомпрессированных составляющих, так и для восстановления их временной взаимосвязи.

При воспроизведении звука и изображения может иметь место такой недостаток, заметный для зрителя, как нарушение синхронизации изображения и речевых сигналов, т.е. синхронизации между движением губ или рта говорящего и соответствующим произнесенным словом речи или звуком. Одной из целей данного изобретения является устранение раздражающих зрителя эффектов, связанных с нарушением синхронизации изображения и речевых сигналов.

Согласно данному изобретению приемник звука/изображения обеспечивает опорные сигналы (PTS) составляющих звука/изображения, совпадающие с воспроизведением соответствующих декомпрессированных составляющих сигнала. Устройство синхронизации формирует сигнал, зависящий от разности отметок времени воспроизведения составляющих звука и изображения. Этот сигнал, который характеризует относительную синхронизацию сигналов звука и изображения, сравнивается с предварительно установленным порогом, при превышении которого вырабатывается сигнал управления глушением звука. Схема глушения звука в ответ на управляющий сигнал отключает воспроизведение звука, когда временное положение воспроизведенных составляющих звука и изображения друг относительно друга отличается от их положения при взаимной синхронизации.

Фиг. 1 изображает блок-схему устройства сжатия сигналов звука и изображения.

На фиг. 2 показана блок-схема устройства декомпрессии сжатых сигналов звука и изображения согласно настоящему изобретению.

На фиг. 3 приведена блок-схема устройства для получения тактового сигнала системы в приемнике, имеющего по существу ту же частоту, что и тактовый сигнал системы в устройстве сжатия.

На фиг. 4 приведена блок-схема алгоритма работы устройства, показанного на фиг. 2.

На фиг. 5 показана блок-схема альтернативной схемы глушения звука, которая может быть использована в устройстве, приведенном на фиг. 2.

На фиг. 1 приведена типичная система передачи сжатого цифрового сигнала изображения, в которой может быть использовано изобретение. В данной системе сигнал изображения от источника 10 подается на компрессор 11 сигнала изображения, который может содержать кодер с предсказанием и компенсацией движения, использующий дискретные косинусные преобразования. Сжатый сигнал изображения из компрессора 11 подается на форматтер 12. Форматтер размещает сжатый сигнал изображения и другие вспомогательные данные согласно некоторому протоколу сигнала, например стандарту MPEG, разработанному Международной организацией по стандартизации. Приведенный в соответствие со стандартом сигнал подается на транспортный процессор 13, который разделяет сигнал на пакеты данных и добавляет к ним некоторые дополнительные данные для обеспечения помехозащищенности при передаче. Транспортные пакеты, которые обычно появляются с непостоянной скоростью, вводятся в буфер 14 скорости, обеспечивающий вывод данных со сравнительно постоянной скоростью, что способствует эффективному использованию относительно узкой полосы канала передачи. Буферизованные данные подаются на модем 15, который осуществляет передачу сигнала.

Тактовый генератор 22 системы генерирует тактовый сигнал для приведения в действие многих элементов устройства, включающих по меньшей мере транспортный процессор. Этот тактовый генератор работает на фиксированной частоте, например 27 МГц. Однако, как показано здесь, он используется для генерации синхронизирующей информации. Тактовый генератор системы подключен к счетному входу счетчика 23, который может считать, например, по модулю 2³⁰. Значения отсчета с выхода счетчика подаются на два регистра-защелки 24 и 25. Источник сигнала изображения так управляет регистром 24, что в нем фиксируются значения отсчета при появлении соответствующих кадровых интервалов. Эти значения отсчета представляют собой отметки PTS времени воспроизведения, которые включаются в поток данных сжатого сигнала изображения форматтером 12 и используются приемником для обеспечения синхронизации связанной информации звука и изображения. Регистр 25 управляется транспортным процессором 13 (или контроллером 21 системы) так, что он фиксирует значения отсчета согласно заранее установленной программе. Эти значения отсчета представляют собой системные опорные тактовые сигналы (SCR), которые вставляются в качестве вспомогательных данных в соответствующие вспомогательные транспортные пакеты.

Сигнал звука, связанный с сигналом изображения, от источника 10 подается на компрессор 18 сигнала звука. Компрессор 18 формирует импульсы отсчета кадров (независимые от кадров изображения) для управления регистром-защелкой 19. Реагируя на импульсы отсчета кадров, регистр 19 запоминает значения отсчета, выдаваемые счетчиком 23. Эти зафиксированные значения соответствуют отметкам PTSaud времени воспроизведения звука. Отметки PTS_aud включаются в состав сжатого сигнала звука, формируемого компрессором 18. Сжатый сигнал звука подается на транспортный процессор 17, который делит сигнал на пакеты данных и добавляет дополнительные данные, чтобы обеспечить помехозащищенность при передаче сигнала. Формируемые процессором 17 транспортные пакеты звука подаются на мультиплексор 16, который уплотняет с разделением по времени транспортные пакеты звука и изображения. На фиг.1 в каналах обработки сигналов звука и изображения показаны отдельные транспортные процессоры. В системах с невысокой скоростью передачи данных функции двух транспортных процессоров и мультиплексора 16 могут быть реализованы одним транспортным процессором.

Контроллер 21 системы представляет собой конечный автомат, запрограммированный для согласования работы различных устройств обработки. Следует заметить, что контроллер 21, компрессоры 11 и 18, транспортные процессоры 13 и 17 и буфер 14 скорости могут работать или не работать синхронно с помощью схемы общей тактовой синхронизации, пока обеспечивается надлежащее синхронное взаимодействие устройств обработки. Однако оба компрессора получают значения отметок времени воспроизведения PTS от одного и того же опорного счетчика 23, что обеспечивает точные временные соотношения между двумя сжатыми сигналами в сжатом выходном сигнале.

Фиг. 2 иллюстрирует пример приемного устройства согласно изобретению, в котором модем 200 выполняет функцию, обратную функции модема 15, а буфер 206 скорости выполняет, по существу, функцию, обратную функции буфера 14. Обратный транспортный процессор 202 разделяет соответствующие транспортные пакеты по назначению и распределяет полезные данные пакета в разные блоки памяти в буфере 206 скорости. При этом полезные данные сигнала соответствующего транспортного пакета отделяются от вспомогательных данных, причем вспомогательные данные подаются на контроллер 210 системы. В альтернативной схеме каждый канал обработки может иметь отдельный транспортный процессор для распознавания и обработки только тех данных, которые связаны с этим каналом.

Сжатые данные изображения от буфера 206 скорости поступают на декомпрессор 214 сигнала изображение. Буфер 206 скорости принимает сжатые данные изображения порциями или с непостоянной скоростью и выдает данные по запросу в декомпрессор 214. Реагируя на сжатый сигнал изображения, декомпрессор формирует несжатый сигнал изображения для воспроизведения, запоминания и.т.п. с помощью подходящих дисплеев или запоминающих устройств (не показаны).

Сжатые данные звука от обратного транспортного процессора 202 подаются в буфер 206 скорости, который подает сжатый сигнал звука, соответствующий протоколу системы, в декомпрессор 212 сигнала звука. Реагируя на сжатый сигнал звука, декомпрессор 212 образует несжатый сигнал звука для воспроизведения, записи и т.п. с помощью подходящих громкоговорителей или запоминающих устройств (не показаны).

Обратный процессор 202 также выдает системные опорные тактовые сигналы SCR из вспомогательных транспортных данных и управляющие сигналы для тактового генератора 208 системы. Реагируя на эти сигналы, тактовый генератор формирует тактовый сигнал системы, синхронный по меньшей мере с работой транспортного процессора. Этот тактовый сигнал системы подается на контроллер 210 приемной системы для управления синхронизацией соответствующих устройств обработки сигналов.

На фиг. 3 показаны элементы взятого в качестве примера регенератора 208 тактового сигнала. Данные от модема 200 приемника подаются на обратный транспортный процессор 202', содержащий детектор 31 вспомогательных пакетов. Обратный транспортный процессор 202' отделяет данные транспортного заголовка от полезных данных соответствующего транспортного пакета. Реагируя на данные транспортного заголовка, процессор 202' демультиплексирует полезные данные взаимосвязанных составляющих звука и изображения желаемой программы и полезные данные взаимосвязанных вспомогательных данных. Полезные данные сигналов звука, изображения и вспомогательных данных записываются в отдельные блоки памяти буфера 208 скорости. Каждый из соответствующих блоков памяти работает по принципу "первый вошел - первый вышел", записывая данные в случае их наличия из модема и считывая данные по запросу от процессора соответствующей составляющей сигнала (не показан). Системные опорные тактовые сигналы, имеющиеся в отдельных вспомогательных пакетах, направляются в память 34 и хранятся в ней.

Детектор 31 вспомогательных пакетов, который может быть выполнен как согласованный фильтр для распознавания кодовых слов, обозначающих вспомогательный транспортный пакет, содержащий системный опорный тактовый сигнал, формирует управляющий импульс при появлении транспортных пакетов, содержащих такие данные. Управляющий импульс используется для запоминания регистром-защелкой 35 текущего значения отсчета местного счетчика 36 в момент, точно соответствующий времени обнаружения вспомогательных пакетов. Местный счетчик 36 подсчитывает импульсы, поступающие от генератора 37, управляемого напряжением. Счетчик 36 выполнен для счета по модулю М, которое может быть, хотя и не обязательно, тем же самым числом, что и у аналогичного счетчика в кодере (счетчика 23). Если М отличается от N, то различие может быть учтено в уравнении ошибки.

Генератор 37, управляемый напряжением, управляется отфильтрованным с помощью фильтра 38 нижних частот сигналом ошибки, который формируется контроллером 39 тактового сигнала. Сигнал ошибки формируется следующим образом. Обозначим системный опорный тактовый сигнал SGR, приходящий в момент "n", как SCR_n, а значение отсчета местного счетчика, одновременно запоминаемое в регистре-защелке 35, обозначим как LCR_n. Контроллер тактового сигнала считывает последовательные значения опорных сигналов SCR и LCR и формирует сигнал ошибки, пропорциональный разности
E ⇒ |SCR_n-SCR_n-1|-|LCR_n-LCR_n-1|
Сигнал Е ошибки используется для управления частотой генератора 37 так, чтобы разности в приведенном выражении были равны. Как было указано выше, отрицательные разности, получающиеся из-за циклического перехода счетчика по модулю, могут игнорироваться. Сигнал ошибки, образуемый контроллером 39 тактового сигнала, может иметь форму сигнала с широтно-импульсной модуляцией, который может быть преобразован в аналоговый сигнал ошибки с помощью фильтра 38 нижних частот, выполненного на аналоговых элементах.

В такой системе необходимо, чтобы счетчики на двух концах системы подсчитывали импульсы одной частоты или ее четных гармоник. Для этого номинальная частота генератора, управляемого напряжением, должна быть весьма близкой к частоте системных тактовых сигналов в кодере.

Рассмотренный метод обеспечивает довольно быструю синхронизацию, но может вносить долговременную ошибку. Долговременная ошибка LTE пропорциональна разности
LTE ⇒ |LCR_n-LCR₀|-|SCR_n-SCR₀|,
где SCR_o и LCR_o обозначают, например, первый появившийся системный опорный тактовый сигнал SCR и соответствующее зафиксированное значение отсчета счетчика приемника. Номинально сигналы Е и LTE ошибок будут изменяться дискретно. Таким образом, когда система "синхронизирована", сигнал ошибки будет колебаться относительно нулевой точки на единицу. Предпочтительный способ синхронизации заключается в том, что управление генератором, управляемым напряжением, начинают, используя сигнал Е ошибки, и осуществляют его до появления в сигнале Е ошибки колебаний на единицу, после чего используют сигнал ошибки LTE для управления генератором, управляемым напряжением.

Системный тактовый сигнал, генерируемый кварцевым генератором 37, управляемым напряжением, может использоваться по меньшей мере для транспортного процессора и буферов скорости. Поскольку он синхронизируется по частоте по меньшей мере с системным тактовым сигналом в кодере, возможность переполнения или очищения буфера скорости вследствие ошибок синхронизации тактовых сигналов по существу отсутствует.

Синхронизация сигналов звука и изображения объясняется с помощью фиг. 2. Как было отмечено выше, отметки PTS_vid времени воспроизведения включаются в сжатый сигнал изображения, связанный с заранее определенными данными изображения. PTS_vid является указателем относительного времени, когда должно быть воспроизведено соответствующее изображение. Аналогично, сжатый сигнал звука содержит отметки PTSaud времени воспроизведения, связанные со звуком, который должен быть воспроизведен в моменты, привязанные к соответствующим PTS_aud. В приемнике PTS_aud И PTS_vid не могут сравниваться непосредственно для обеспечения синхронизации звука/изображения, так как соответствующие отсчеты были определены в разные моменты времени. Соответствующие значения отметок времени воспроизведения сравниваются с непрерывным опорным хронирующим сигналом, в качестве которого выступает тактовый сигнал приемника, формируемый генератором 37. Это сравнение осуществляется путем фиксации значений отсчета LCR местных тактовых импульсов, вырабатываемых тактовым генератором 208 системы, для получения местных отметок времени воспроизведения.

Когда появляются данные, связанные с соответствующими отметками времени воспроизведения, снимается отсчет LCR местного счетчика. Например, декомпрессор 212 сигнала звука выдает PTS_aud, когда соответствующий кадр звукового сопровождения выводится для воспроизведения. В эти моменты времени управляющий сигнал заставляет регистр-защелку 220 снять отсчет LCR, значение которого обозначим как LAS (местная отметка времени воспроизведения звука). Аналогично, когда декомпрессор сигнала изображения выдает кадр изображения для воспроизведения, он выдает PTS_vid, а также управляющий импульс, заставляющий регистр-защелку 222 запомнить текущее значение LCR отсчета местного счетчика. Эти значения LCR обозначены как LVS (местные отметки времени воспроизведения изображения).

Значения местной отметки LAS времени воспроизведения звука и соответствующей ей отметки PTSaud подаются на входы вычитателя 218, который образует сигнал Δ_A-PTS в соответствии с зависимостью
Δ_A-PTS = PTS_aud-LAS.
Значения LVC и соответствующей ей отметки PTS_vid подаются на входы вычитателя 217, который образует сигнал Δ_V-PTS в соответствии с зависимостью
Δ_V-PTS = PTS_vid-LVS.
Сигналы Δ_V-PTS и Δ_A-PTS подаются на соответствующие входы еще одного вычитателя 219, который вырабатывает сигнал ERR_PTS ошибки синхронизации звука и изображения в соответствии с зависимостью
ERR_PTS = Δ_V-PTS-Δ_A-PTS.
Вычитатели 217-219 образуют средства обнаружения для формирования первого сигнала ошибки, который является мерой рассинхронизации связанных декомпрессированного сигнала звука и декомпрессированного сигнала изображения. Указанные средства обнаружения для формирования первого сигнала ошибки можно рассматривать как детектор синхронности движения губ и соответствующего звука.

Декомпрессоры звука и изображения выдают указанные отметки PTS_aud и PTS_vid времени со связанными декомпрессированными сигналами звука и изображения, а указанные средства обнаружения формируют указанный первый сигнал ошибки в зависимости от разности значений PTS_aud и PTS_vid для связанных декомпрессированных сигналов звука и изображения.

Для обеспечения синхронизации звука и изображения требуется, чтобы ошибка синхронизации сигналов звука и изображения была сведена к нулю. Таким образом, когда разность значений соответствующих отметок времени воспроизведения звука и изображения равняется времени, выраженному через период повторения местного звука/изображения. Если кадры звука имеют длительность менее 40 мс, то грубая подстройка с помощью пропуска/повторения может давать ошибки синхронизации в пределах ±20 мс, что соответствует промышленным стандартам синхронизации звука/изображения. Однако эта синхронизация будет ухудшаться, если опорный хронирующий сигнал, используемый для преобразования сигнала звука, не будет совпадать с опорным сигналом источника. Когда синхронизация подстроена грубо, с целью дополнительного повышения точности синхронизации сигналов звука и изображения используются изменения тактовой частоты преобразования сигнала звука.

Сигнал ERR_PTS ошибки подается на блок 216 фильтрации и обработки. Функция фильтрации, выполняемая этим блоком, обеспечивает сглаживание сигнала ERR_PTS, чтобы минимизировать отклонения, которые в противном случае могут создаваться шумами в сигнале. Затем блок 216, выполняя функцию обработки, проверяет сглаженный сигнал ошибки и определяет, должен ли быть использован пропуск/повторение данных звука для выполнения грубой синхронизации сигналов звука и изображения и/или следует использовать подстройку частоты обработки сигнала звука для осуществления точной синхронизации. Если установлено, что необходима грубая подстройка синхронизации, то процессор 216 подает на декомпрессор 212 сигнала звука управляющий сигнал (S/R), заставляющий этот декомпрессор пропустить или повторить текущий кадр декомп- рессированных данных звука. Вместо грубой подстройки или в дополнение к ней, если определена необходимость точной подстройки, процессор 216 подает управляющий сигнал на блок 215 опорного хронирующего сигнала канала звука, чтобы подстроить частоту тактового сигнала обработки сигнала звука.

Алгоритм обработки подробно поясняется структурной схемой на фиг.4. После инициализации (400) системы, обозначенной как "СТАРТ", система контролирует (401) появление отметки PTS_aud времени воспроизведения сигнала звука в декомпрессоре сигнала звука, и если эта отметка PTS_aud обнаружена, то она считывается (403), и при этом запоминается значение отсчета LAS местного опорного тактового сигнала. Если PTS_aud не появилась, то система проверяет декомпрессор сигнала изображения на наличие отметки PTS_vid времени воспроизведения сигнала изображения (402). Если PTS_vid появилась, она считывается (404), и при этом вводится и запоминается значение отсчета LVS местного опорного тактового сигнала. Когда обе отметки PTS_aud и PTS_vid считаны, вычисляется сигнал ошибки (405) согласно уравнению
ERR_PTS = Δ_V-PTS-Δ_A-PTS.
Далее проверяется (406), не превышает ли модуль сигнала ошибки половины длительности звукового кадра. Если он больше, чем половина длительности звукового кадра, то сигнал ошибки проверяется на полярность (407). Если полярность положительна, текущий кадр звука повторяется (409). Если она отрицательна, текущий кадр звука пропускается (408). После пропуска или повторения кадра система снова возвращается к начальному состоянию для ожидания следующего появления отметок времени воспроизведения.

Если на шаге 406 модуль сигнала ошибки меньше, чем половина длительности звукового кадра, то определяется, превышает ли ошибка нуль (410). Если ошибка больше нуля, то определяется (412), меньше ли она, чем предыдущий сигнал ошибки. Если она меньше, чем предыдущий сигнал ошибки, то это является показателем того, что система приближается к синхронизации, и параметры управления синхронизацией не изменяются. Система возвращается к начальному состоянию для ожидания следующих отметок PTS времени воспроизведения. Если же ошибка увеличилась относительно предыдущего сигнала ошибки, то частота тактового сигнала обработки сигнала звука уменьшается (414).

Если на шаге 410 ошибка меньше нуля (отрицательна), то определяется (411), больше ли она, чем предыдущий сигнал ошибки. Если она больше, чем предыдущий сигнал ошибки, это также является показателем того, что система приближается к состоянию синхронизации, и параметры управления синхронизацией не изменяются. Если же текущий сигнал ошибки меньше, чем предыдущий сигнал ошибки, то система стремится к дальнейшему выходу из синхронизации, и частота тактового сигнала обработки сигнала звука увеличивается (413). После выполнения операций 412 и 413 обработки система возвращается к ожиданию появления следующих отметок времени воспроизведения. Следует заметить, что в этом примере система осуществляет только грубые подстройки посредством пропуска или повторения кадров звука до тех пор, пока ошибка синхронизации сигналов звука/изображения не станет менее половины длительности кадра звука.

В соответствии с другим вариантом осуществления изобретения отфильтрованный сигнал ошибки сравнивается с заданным порогом, связанным с размером соответствующих кадров звука. Если сигнал ошибки меньше, чем порог, т.е. ошибка синхронизации сигналов звука и изображения меньше длительности кадра звука, то сигнал ошибки подается на блок 215 опорного хронирующего сигнала канала звука, где он используется для подстройки частоты тактового сигнала обработки (декомпрессии) сигнала звука. Если сигнал ошибки больше, чем порог, то сигнал ошибки можно разделить на величину, равную длительности кадра звука, чтобы определить число кадров звука, на которое рассогласованы сигналы звука и изображения. Целая часть частного подается на декомпрессор сигнала звука, чтобы заставить его пропустить или повторить такое число кадров звука. Полярность сигнала ошибки будет определять, должны ли кадры звука быть пропущены или повторены. Как правило, перед кодированием сжатые данные помещаются в буферное запоминающее устройство, поэтому пропуск или повторение кадров звука достигается просто путем управления выполнением команд считывания/записи в запоминающем устройстве.

Дробная часть частного подается на блок 215 опорного хронирующего сигнала канала звука, где она используется для подстройки частоты тактового сигнала обработки сигнала звука с целью достижения точной синхронизации звука/изображения.

Скорость получения отметок времени воспроизведения звука пропорциональна скорости обработки в декомпрессоре сигнала звука. Эта скорость обработки прямо пропорциональна частоте тактового сигнала, используемого для работы декомпрессора сигнала звука. Если частота тактового сигнала декомпрессора сигнала звука не зависит от тактового сигнала, используемого для работы декомпрессора сигнала, и может точно регулироваться, то может регулироваться относительная скорость появления отметок времени воспроизведения звука и изображения, а звук и изображение могут быть точно синхронизированы.

Декомпрессированный сигнал звука подается на цифроаналоговый преобразователь 227 (ЦАП). Выходной аналоговый сигнал с ЦАП 227 подается на схему дополнительной аналоговой обработки (не показана) через резистор 228. Между резистором 228 и землей включена проводящая цепь, образованная транзистором 229 глушения звука. Управляющий электрод транзистора подключен к выходу порогового детектора 225. Положительное управляющее напряжение большее, чем V_be, заставляет транзистор 229 зафиксировать уровень выходного сигнала звука от ЦАП 227 равным потенциалу земли, тем самым подавляя сигнал звука.

Обычно сжатый сигнал звука включает несколько составляющих, таких как сигнал левого канала, сигнал правого канала ит.п. На фиг. 2 для простоты показан только один выходной сигнал звука, хотя каждый канал будет включать схему глушения звука, управляемую общим сигналом управления глушением звука.

Подавление сигнала звука выполняют по нескольким причинам, из которых нарушение синхронизации сигналов звука и изображения не является последней. Данное устройство уникально тем, что подавление сигнала звука в нем производится на основе сигнала рассинхронизации сигналов звука и изображения.

Телезритель может заметить нарушение синхронизации сигналов звука и изображения, соответствующее -20 мс или +40 мс. В приведенной в качестве примера системе сигнал звука подавляется, если ошибка синхронизации сигналов звука и изображения превышает примерно 13 мс. Пороговое значение было выбрано равным 13 мс, что меньше 20 мс, но больше половины кадра звука второго уровня MPEG1 (длительность которого 24 мс). Пороговое значение выбрано чуть больше половины кадра звука, поскольку при пропуске/повторении кадров, которые производятся для достижения синхронизации сигналов звука/изображения, возможно начальное состояние синхронизации при половине кадра (12 мс), а если порог равен примерно 12 мс или меньше, то синхронизация будет достигнута, но звуковой сигнал подавлен. Кроме того, если порог равен половине кадра, то происходит прерывистое глушение звука из-за незначительной флуктуации вычисленных ошибок синхронизации сигналов звука и изображения из-за погрешностей при снятии отсчетов тактового сигнала и отметок времени воспроизведения PTS.

Сигнал управления глушением формируется пороговым детектором 225, который контролирует сигнал ошибки синхронизации сигналов звука и изображения, поступающий из вычитателя 219. Когда сигнал ошибки превышает значение, соответствующее 13 мс, генерируется сигнал управления глушением звука. Для того, чтобы шум или другие импульсные помехи не вызывали формирования ложных сигналов глушения звука, сигналы ошибки от вычитателя 219 могут быть отфильтрованы фильтром нижних частот перед подачей на пороговый детектор 225.

Пунктирные стрелки от детектора 225 к цифроаналоговому преобразователю 227 и декомпрессору 212 сигнала звука показывают альтернативный вариант глушения. Например, сигнал управления глушением может быть предназначен для блокировки выходного сигнала ЦАП 227 или декомпрессора 212 (т.е. вышеуказанные средства фиксации включают в данном случае цифроаналоговый преобразователь 227, подключенный для приема декомпрессированного сигнала звука). В обоих случаях должна быть предусмотрена функция блокировки, чтобы соответствующий элемент обработки формировал выходной сигнал, лежащий в середине динамического диапазона этого сигнала. На фиг. 2 также показано, что может быть реализовано подавление сигнала изображения (или гашение) путем управления цифроаналоговым преобразователем 224 сигнала изображения.

На фиг. 5 изображен альтернативный вариант глушения звука. Для этого варианта вышеупомянутые средства обнаружения для формирования первого сигнала ошибки включают источник местного тактового сигнала, выполненный в виде тактового генератора 208 системы (см. фиг. 3), средства определения времени Т, выраженного в периодах местного тактового сигнала, между моментами появления соответствующих отметок PTS_aud и PTS_vid времени и средства для вычисления разности между значениями соответствующих отметок PTS _aud и PTS_vid времени и сравнения этой разности с указанным временем Т для формирования сигнала управления синхронизацией звука и изображения, указанные средства образованы блоками 217-220 (см. фиг. 2), а также первый пороговый детектор 231 для формирования указанного первого сигнала ошибки, когда сигнал управления синхронизацией звука и изображения (отфильтрованный в блоке 216, как было указано выше) превышает заранее установленное значение.

Устройство также содержит средства, реагирующие на указанный сигнал управления синхронизацией звука и изображения для синхронизации декомпрессированных сигналов звука и изображения, представленные блоком 216, и схему 230 объединения по ИЛИ дополнения и передаются через один ретранслятор. Отдельная программа может включать только сигнал звука, так что проблема синхронизации сигнала звука и изображения будет исключена. Однако может воспроизводиться нежелательный сигнал звука, если не синхронизирован системный тактовый сигнал. Поэтому в систему может быть включен дополнительный пороговый детектор 232 для контроля за сигналом ошибки, вырабатываемым контроллером 39 тактового сигнала, показанным на фиг. 3. Пороговый детектор 232 формирует сигнал управления подавлением звука, когда сигнал ошибки, вырабатываемый контроллером, характеризует отклонение частоты от частоты, которая должна быть при синхронизации, например, 0,2. Этот сигнал управления глушением звука подается на схему 230 ИЛИ для осуществления подавления сигнала звука до тех пор, пока системный тактовый сигнал не будет в основном синхронизирован с соответствующим тактовым сигналом кодирования. Аналогично, может быть подключен детектор для измерения отклонения частоты блока 215 опорного хронирующего сигнала канала звука с формированием дополнительного сигнала глушения, который может проходить через схему 230 ИЛИ.

Сущность изобретения: приемник сжатого сигнала звука/изображения формирует опорные временные сигналы (PTS) составляющих звука и изображения, совпадающие с воспроизведением соответствующей декомпрессированной составляющей. Устройство синхронизации формирует сигнал, зависящий от разности поступающих отметок времени воспроизведения составляющих звука и изображения. Этот сигнал, характеризующий относительную синхронизацию звука и изображения, сравнивается с установленным порогом и при превышении порога вырабатывается сигнал управления глушением. Схема глушения, реагируя на сигнал управления, отключает воспроизведение звука при нарушении синхронизации между воспроизведенными сигналами звука и изображения. Технический результат заключается в повышении точности синхронизации изображения и речевых сигналов. 9 з.п. ф-лы, 5 ил.

1. Устройство в приемнике для обработки сжатого сигнала звука и изображения, содержащее детектор для получения упомянутого сжатого сигнала звука и изображения, декомпрессор сигнала звука, реагирующий на сжатый сигнал звука и изображения, для формирования декомпрессированного сигнала звука, и декомпрессор сигнала изображения, реагирующий на сжатый сигнал звука и изображения, для формирования декомпрессированного сигнала изображения, отличающееся тем, что оно также содержит средства обнаружения для формирования первого сигнала ошибки, который является мерой рассинхронизации связанных декомпрессированного сигнала звука и декомпрессированного сигнала изображения, и средства глушения для подавления декомпрессированного сигнала звука, когда первый сигнал ошибки превышает первый заранее определенный порог. 2. Устройство по п.1, отличающееся тем, что средства глушения содержат первый пороговый детектор, реагирующий на первый сигнал ошибки для формирования сигнала управления, имеющего первое и второе состояние, когда первый сигнал ошибки соответственно больше и меньше, чем первый заранее определенный порог, и средства фиксации сигнала, реагирующие на сигнал управления, для пропускания декомпрессированного сигнала звука, когда сигнал управления имеет второе состояние, и для выдачи заменяющего значения для декомпрессированного сигнала звука, когда сигнал управления имеет первое состояние. 3. Устройство по п.2, отличающееся тем, что средства фиксации включают цифроаналоговый преобразователь, подключенный для приема декомпрессированного сигнала звука. 4. Устройство по п.2, отличающееся тем, что средства фиксации включают схему И, подключенную для приема декомпрессированного сигнала звука и имеющую разрешающий вход, подключенный к первому пороговому детектору. 5. Устройство по п.2, отличающееся тем, что оно содержит схему синхронизации, реагирующую на сжатый сигнал звука и изображения с формированием системного тактового сигнала, заданным образом связанного с системным тактовым сигналом кодера, используемым при формировании сжатого сигнала звука и изображения, и включающую детектор для формирования второго сигнала ошибки, который является мерой рассинхронизации упомянутого системного тактового сигнала, второй пороговый детектор, реагирующий на второй сигнал ошибки, для формирования сигнала управления, имеющего первое и второе состояние, когда второй сигнал ошибки соответственно больше и меньше, чем второй заранее определенный порог, и схему ИЛИ для объединения сигналов управления от первого порогового детектора и второго порогового детектора. 6. Устройство по п.1, отличающееся тем, что указанные средства обнаружения для формирования первого сигнала ошибки представляют собой детектор синхронности движения губ и соответствующего звука. 7. Устройство по п.1, отличающееся тем, что составляющие звука и изображения упомянутого сигнала звука и изображения содержат соответствующие отметки PTS_aud времени воспроизведения звука и отметки PTS_vid времени воспроизведения изображения, определенные в заранее заданные моменты времени и связанные с системным тактовым сигналом кодера, при этом декомпрессоры сигналов звука и изображения выдают отметки PTS_aud и PTS_vid времени с соответствующими декомпрессированными сигналами звука и изображения, а указанные средства обнаружения для формирования первого сигнала ошибки, включают источник местного тактового сигнала, средства определения времени Т, выраженного в периодах местного тактового сигнала, между моментами появления соответствующих отметок PTS_aud и PTS_vid времени, средства для вычисления разности между значениями соответствующих отметок PTS_aud и PTS_vid времени и сравнения этой разности с указанным временем Т для формирования сигнала управления синхронизацией звука и изображения, и первый пороговый детектор для формирования указанного первого сигнала ошибки, когда сигнал управления синхронизацией звука и изображения превышает заранее установленное значение. 8. Устройство по п.7, отличающееся тем, что в нем соответствующий декомпрессор декомпрессирует сигнал звука в заранее установленных интервалах, при этом устройство содержит средства, реагирующие на указанный сигнал управления синхронизацией звука и изображения для синхронизации декомпрессированных сигналов звука и изображения и включающие устройство формирования дополнительного сигнала управления, заставляющего декомпрессор звука пропускать или повторять заранее установленные интервалы сигналов звука, и схему ИЛИ для объединения дополнительного сигнала управления с первым сигналом ошибки для формирования составного сигнала ошибки для управления указанными средствами глушения. 9. Устройство по п.7, отличающееся тем, что оно содержит схему синхронизации, реагирующую на упомянутый сжатый сигнал звука и изображения для синхронизации местного тактового сигнала с системным тактовым сигналом кодера, используемым при формировании сжатого сигнала звука и изображения, и включающую детектор для формирования дополнительного сигнала управления, являющегося мерой рассинхронизации системного тактового сигнала, второй пороговый детектор, реагирующий на дополнительный сигнал управления, для формирования второго сигнала ошибки, имеющего первое и второе состояния, когда дополнительный сигнал управления соответственно больше и меньше, чем дополнительный заранее определенный порог, и схему ИЛИ для объединения указанных управляющих сигналов от первого порогового детектора и второго порогового детектора. 10. Устройство по п. 1, отличающееся тем, что составляющие звука и изображения сигнала звука и изображения содержат соответствующие отметки PTS_aud времени воспроизведения звука и отметки времени PTS_vid воспроизведения изображения, определенные в заранее установленные моменты времени и связанные с системным тактовым сигналом кодера, при этом декомпрессоры звука и изображения выдают указанные отметки PTS_aud и PTS_vid времени со связанными декомпрессированными сигналами звука и изображения, а указанные средства обнаружения формируют указанный первый сигнал ошибки в зависимости от разности значений PTS_aud и PTS_vid для связанных декомпрессированных сигналов звука и изображения.