ОБЛАСТЬ ИЗОБРЕТЕНИЯ
Изобретение относится к способу и устройству для внедрения в сигнал дополнительных данных, при этом способ содержит этапы кодирования сигнала в соответствии с процессом кодирования, который включает в себя этап осуществления обратной связи по кодированному сигналу для управления упомянутым кодированием, и модификации выделенных выборок кодированного сигнала для представления упомянутых дополнительных данных.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ
Размещение в аудио- и видеосигналах дополнительных данных таким образом, чтобы они были недоступны для восприятия, становится все более необходимым. Внедрять защитные метки в мультимедийные ресурсы надлежит, например, с целью идентификации источника или статуса документов и аудио- и видеопрограмм в отношении авторских прав. Защитная метка обеспечивает законное подтверждение обладателя авторских прав, позволяет отслеживать пиратскую продукцию и поддерживает защиту интеллектуальной собственности.
Известный способ наложения на видеосигнал защитных меток в соответствии с изложенным во вступительном абзаце раскрывается в статье Ф. Хартунга и Б. Гироса (F. Hartung, В. Giros) "Цифровое наложение защитных меток на сырой и сжатый видеосигнал" ("Digital Vatermarking of Raw and Compressed Video"), SPIE, том 2952, стр. 205-213. Наложение защитных меток достигается здесь путем модификации коэффициентов ДКП (дискретного косинусоидального преобразования) в выходном битовом потоке кодера MPEG2 (название стандарта сжатия движущегося изображения). Общеизвестно, что кодер MPEG2 представляет собой предсказательный кодер, включающий в себя контур обратной связи для управления процессом кодирования. Предпочтительнее кодировать не сам входной сигнал, а ошибку предсказания (разность между входным сигналом и его предсказанным значением). Сигнал предсказания получают путем локального декодирования кодированного сигнала.
Согласно способу, отвечающему уровню техники, защитные метки вставляются после обычного кодирования. Однако при таком способе объем защитной метки на кодированном сигнале оказывается весьма ограниченным.
ПРЕДМЕТ И КРАТКОЕ СОДЕРЖАНИЕ ИЗОБРЕТЕНИЯ
Предмет изобретения состоит в предоставлении такого способа внедрения дополнительных данных в кодированный аудио- и видеосигнал, который позволил бы изменять большее число битов кодированного сигнала, не оказывая сколько-нибудь заметного влияния на качество восприятия.
С этой целью способ, в соответствии с изобретением отличается тем, что этап модификации выделенных выборок осуществляется прежде, чем осуществляется упомянутая обратная связь по кодированному сигналу, и включает в себя модификацию, по крайней мере, одной дополнительной выборки кодированного сигнала, предшествующей выделенной выборке, если обнаруживается, что модификация упомянутой дополнительной выборки улучшает качество упомянутого процесса кодирования.
Этап внедрения дополнительных данных, предваряющий осуществление обратной связи по сигналу, был также предложен заявителем в неопубликованной европейской патентной заявке 97200197.8 (изложение по доверенности PHN 16.209). Благодаря этому этапу неблагоприятные последствия модификации выборки компенсируются в последующих операциях кодера. Однако первоначальное возмущение, вызванное модификацией выборки, остается. Изобретение основано на том наблюдении, что качество кодирования можно дополнительно улучшить путем преднамеренной модификации одной или нескольких выборок сигнала, предшествующих выделенной выборке. Фактически кодированный сигнал подвергается незначительному предварительному искажению с целью минимизации ошибок кодирования к моменту его поступления.
Изобретение особенно полезно при внедрении дополнительных данных в сигналы, кодированных единичными битами. Единично-битовые кодеры, например дельта-модуляторы, сигма-дельта-модулятор и кодеры формы шума на каждом этапе кодирования. выдают однобитовую выходную выборку. Кодированный сигнал весьма чувствителен к наложению защитных меток. Сигма-дельта-модуляторы, например, которые предусмотрены для записи высококачественного аудио-сигнала на аудио-УЦД (универсальный цифровой аудиодиск) при частоте выборки 2822400 (64•44100) Гц, имеют отношение сигнал/шум 115 дБ. Наложение защитных меток на такой сигма-дельтамодулированный сигнал так, как это делается в соответствии с уровнем техники, т.е. после обычного кодирования, значительно увеличивает шум квантования. Например, замещение каждого сотого бита сигма-дельта-модулированного аудио-сигнала битом защитной метки увеличивает шум квантования до -60 дБ, что явно неприемлемо. Наложение защитных меток, предложенное заявителем в одновременно рассматриваемой европейской патентной заявке 97200197.8, дает при замещении каждого сотого бита возрастание шума квантования только на 1 дБ.
Изобретение не только дополнительно улучшает качество кодирования в плане снижения шума по отношению к уровню сигнала. Как известно, использование сигма-дельта-модуляторов с контурным фильтром порядка > 2 сталкивается с пробами нестабильности при большом входном сигнале. Обычно эту нестабильность предотвращают, запрещая входному сигналу выходить за пределы заданного диапазона значений. Изобретение также дает решение такого рода проблем нестабильности и связанных с ними проблем ограничения по амплитуде.
Другие цели, отличительные черты и достоинства настоящего изобретения станут очевидны по рассмотрении нижеследующего описания, приведенного в совокупности с прилагаемыми чертежами.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 изображает отвечающее изобретению устройство для внедрения дополнительных данных в дельта-модулированный сигнал.
Фиг.2-4 изображают форму сигналов для иллюстрации работы устройства, изображенного на фиг.1.
Фиг. 5 изображает блок-схему, иллюстрирующую работу схемы модификации, изображенной на фиг.1.
Фиг. 6 изображает отвечающее изобретению устройство для внедрения дополнительных данных в сигма-дельта-модулированный сигнал.
Фиг.7 изображает фильтр сигма-дельта-модулятора третьего порядка, используемый в устройстве, изображенном на фиг.6.
Фиг.8, 9, 10А-10Г и 11А-11В изображают форму сигнала для иллюстрации работы устройства, изображенного на фиг.6.
ОПИСАНИЕ ВАРИАНТОВ РЕАЛИЗАЦИИ
Изобретение будет описываться со ссылкой на единично-битовые кодеры, но с пониманием, что идеи изобретения могут применяться и к другим типам предсказательных кодеров, например кодерам ДИКМ (дифференциальная импульсно-кодовая модуляция), (например, MPEG). Прежде всего описывается устройство дельта-модулятора, поскольку принцип его работы проще для понимания. Затем будет описано устройство сигма-дельта-модулятора, который чаще всего используется в реальных кодирующих системах.
На фиг.1 изображено в соответствии с изобретением устройство для внедрения дополнительных данных в дельта-модулированный сигнал. Устройство заключает в себе обычный дельта-модулятор 1, в состав которого входит вычитатель 11, детектор полярности 12 и декодирующий фильтр 13. Вычитатель 11 генерирует сигнал е ошибки предсказания, вычитая сигнал из входного сигнала x. Ошибка предсказания е поступает на детектор полярности 12, который со скоростью, определяемой частотой выборки f3 (не показана), выдает выходную выборку "+1" при и выходную выборку "-1" при . Контур 14 обратной связи включает в себя декодирующий фильтр 13 (сумматор или интегратор) для получения сигнала предсказания .
В обычном дельта-модуляторе контур обратной связи 14 подключается к выходу детектора полярности 12. На фиг.2 изображены формы сигнала такого обычного дельта-модулятора. В частности, на фиг.2 изображен входной сигнал x, сигнал предсказания и кодированный выходной сигнал y обычного дельта модулятора. Заметим, что сигнал предсказания является также выходным сигналом приемника (не показан на фиг.1).
Вновь обращаясь к фиг.1, видим, что устройство в соответствии с изобретением заключает в себе схему модификации 2, которая подключается между детектором полярности 12 и контуром обратной связи 14. Схема модификации модифицирует биты, выделяемые по сигналу выделения s среди выходных битов детектора полярности. Например, схема модификации замещает каждый сотый бит кодированного сигнала у битом w структуры данных защитной метки, который хранится в регистре 3 данных защитной метки. Альтернативно схема модификации инвертирует выделенные биты, так что структуру данных защитной метки представляет число битовых периодов между упомянутыми инвертированными битами.
Фиг. 3 поясняет эффект от модификации выделенного бита 20 кодированного сигнала у битом w данных защитной метки. На этой фигуре показаны входной сигнал х (тот же сигнал, как на фиг.2), сигнал предсказания и модифицированный кодированный сигнал z. Под номером 21 обозначен внедренный бит защитной метки. Согласно изображенному на фигуре, внедренный бит защитной метки имеет значение "-I", которое отличается от значения "+1" бита 20 кодированного сигнала. Учитывая, что сигнал предсказания является также выходным сигналом приемника, легко видеть, что битовая модификация увеличивает шум квантования. Поскольку модифицированный сигнал z поступает обратно на вход кодера, ошибка квантования впоследствии компенсируется и фактически устраняется.
В соответствии с изобретением, схема модификации 2 (фиг.1) устроена так, чтобы модифицировать также, по крайней мере, один из битов, предшествующих защитной метке, если выясняется, что это улучшает качество кодирования. На фиг.4 показан пример такой обработки сигнала. Здесь вновь изображены входной сигнал x, сигнал предсказания , модифицированный кодированный сигнал z и бит 21 защитной метки. Кроме того, показан также модифицированный бит 22, предшествующий биту 21 защитной метки. При сравнении фиг.4 с фиг.3 сразу видно, что общая ошибка квантования значительно уменьшилась. Таким образом качество кодирования стало существенно лучше.
В примере, изображенном на фиг.4, хорошая характеристика получается за счет модификации бита, непосредственно предшествующего биту защитной метки. Так бывает не всегда. Модификация 2-го, 3-го и т.д. битов, предшествующих биту защитной метки, или их комбинации могут улучшить характеристику в еще большей степени. Пример этому будет приведен ниже.
Для получения вышеупомянутого желаемого эффекта устройство, изображенное на фиг.1, приспосабливается для осуществления процесса дельта-модуляции для различных комбинаций предшествующих битов и выбора такой комбинации, которая дает наилучший результат. Упомянутое тестирование различных комбинаций битов именуется здесь также "упреждающим поиском", и биты, предшествующие биту защитной метки, которые рассматриваются на предмет их модификации, именуются битами "упреждающего поиска".
Процесс модификации осуществляется под управлением схемы модификации 2. Схема может быть реализована программными или аппаратными средствами в зависимости от практических аспектов, например быстродействия и сложности аппаратных средств. На фиг. 5 изображена блок-схема, иллюстрирующая работу схемы. Предполагается, что входной сигнал x хранится на носителе данных (не показан на фиг. 1) и что каждый сотый бит кодированного сигнала у подлежит замещению битом w защитной метки. С этой целью входной сигнал x делится на сегменты, каждый из которых заключает в себе 100 входных выборок Х0...Х99. Для каждого сегмента выходной сигнал z заключает в себе 100 битов Z1...Z99 из которых Zo...Z2 являются тремя битами упреждающего поиска, а Z3 является битом защитной метки.
На этапе 50 задается 3-битовое двоично-кодированное число с в исходном значении нуль. Число с представляет текущую комбинацию трех битов упреждающего поиска. На этапе 51 Z0...Z2 принимают значения трех битов с. Таким образом, Zi устанавливается равным "+1", если соответствующий бит с равен "1", и Zi устанавливается равным "-1", если соответствующий бит с равен "0". Кроме того, на этапе 51 Z3 таким же образом принимает значение текущего бита w защитной метки, подлежащего внедрению. В рамках подпроцедуры 52 процесс дельта-модуляции применяется к данному числу входных выборок, скажем X0...X20, с целью изучения поведения контура для предварительно присвоенных значений Z0...Z3. Соответствующая выходная битовая последовательность Z0...Z20 сохраняется в буферной памяти (не показана на фиг.1). На этапе 53 определяется и сохраняется в буферной памяти качество Q(c) кодирования в процессе дельта-модуляции для текущей комбинации с битов упреждающего поиска. В этом примере качество кодирования представлено средней квадратичной ошибкой (СКО) между входным сигналом и сигналом предсказания:
Затем число с увеличивается на единицу (этап 54) с целью создания новой комбинации Z0. ..Z2 битов упреждающего поиска и вычисления соответствующего значения СКО(с). Дельта-модулирование последовательности X0...X20 повторяется, пока не будут обработаны все комбинации (этап 55). Безусловно (и потому не показано на фигуре) всякий раз используются одни и те же исходные сигналы интегратора. После обработки всех комбинаций, на этапе 56 определяется максимальное качество кодирования Q(с). С этой целью в буферной памяти организуется поиск числа с, для которого СКО(с) принимает минимальное значение. На этапе 57 кодированная последовательность Z0...Z20, соответствующая упомянутой минимальной СКО, считывается из буферной памяти и подается на выходную клемму кодера. Затем в рамках подпроцедуры 58 кодируется остаток Х21. . .Х99 сегмента входных выборок и на этапе 59 подается на выход кодера. Закодировав таким образом сегмент из 100 входных выборок, устройство возвращается к этапу 50 для обработки следующего сегмента.
Заметим, что значения некоторых параметров в описанном выше процессе кодирования, например длина сегмента (здесь 100), число битов упреждающего поиска (здесь 3) и число выходных битов, подлежащих оцениванию (здесь 20), даны только в качестве иллюстрации. Следует также отметить, что качество кодирования можно выражать через другие параметры, например через наибольшую разность между входной выборкой xn и соответствующим предсказанием .
Теперь описывается сигма-дельта-модулятор в соответствии с изобретением. Сигма-дельта-модуляция предусматривается для записи высококачественного аудио-сигнала на аудио-вариант универсального цифрового диска (аудио-УЦД). Она отличается от дельта модуляции тем, что до кодирования входной сигнал х подвергается фильтрации посредством такого же фильтра, как тот, что используется в контуре предсказания дельта-модулятора. Кроме того, вместо фильтров на входном тракте и на тракте обратной связи, на тракте прямого прохождения сигнала контура кодирования стоит единый фильтр.
На фиг.6 изображено в соответствии с изобретением устройство для внедрения дополнительных данных в сигма-дальта-модулированный сигнал. Устройство заключает в себе обычный сигма-дельта-модулятор 6, в состав которого входит вычитатель 61, контурный фильтр 62, детектор полярности 63 и контур обратной связи 64. Вычитатель 61 вычитает кодированный выходной сигнал (принимающий значения "+1" или "-1") из входного сигнала х. Разностный сигнал d фильтруется фильтром 62. Фильтрованный сигнал f подается на детектор полярности 63, который со скоростью, определяемой частотой выборки f3 (не показана), выдает выходной бит "+1" при f≥0 и выходной бит "-1" при f<0. Между детектором полярности 63 и контуром обратной связи 64 подключена такая же схема модификации 2, которая изображена па фиг.1. По сигналу выделения s схема 2 замещает бит кодированного сигнала у битом w защитной метки, который хранится в регистре 3.
В реальных сигма-дельта-модуляторах используются различные варианты реализации контурного фильтра 62. В рамках этого описания приводится пример использования фильтра третьего порядка. В целях полноты описания он изображен на фиг.7. Фильтр заключает в себе три интегратора, соединенные в каскад. Выходные сигналы трех интеграторов обозначаются соответственно а, b, с. Выходной сигнал f фильтра является взвешенной комбинацией сигналов интеграторов. На фигуре для каждого интегратора показано целое число, предваренное значком #. Упомянутое целое число обозначает максимальное значение, которое способен хранить соответствующий интегратор. Выборки сигнала, превышающие максимальное значение, отсекаются. Как станет ясно позднее, отсечка характерна для вариантов реализации сигма-дельта-модулятора.
На фиг.8 для объяснения работы устройства изображены формы сигнала, когда схема модификации 2 не действует. В частности, на фигуре изображены входной сигнал х, кодированный сигнал Z, разностный сигнал d и фильтрованный сигнал f. Изображены также выходные сигналы а, b и с трех интеграторов. Среднее значение выходного сигнала сигма-дельта-модулятора представляет входной уровень. В этом примере уровень входного сигнала x, составляющий 0,5 В постоянного тока, кодируется в виде битового потока, заключающего в себе (в среднем) три бита "+1" и один бит "-1" в соответствии с:
На фиг.9 изображены формы сигнала для иллюстрации эффекта от внедрения в выходной кодированный сигнал z бита 90 защитной метки. Показаны те же сигналы, что и на фиг.8. Сравнение обеих фигур показывает, что бит защитной метки вносит в кодированный сигнал 2 более длинные пробеги одного и того же значения бита, что свидетельствует о возрастании шума квантования. Защитная метка обуславливает также увеличение амплитуды сигналов интеграторов, особенно выходного сигнала с третьего интегратора. Безусловно это происходит только тогда, когда бит защитной метки и "регулярный" выходной бит имеют противоположные значения.
На фиг.10А-10Г изображены кодированный сигнал z и выходной сигнал с третьего интегратора в различных условиях. Формы сигнала, изображенные на фиг. 10А и 10Б, идентичны соответствующим формам сигнала, изображенным ранее на фиг. 8 и 9, т.е. соответственно при отсутствии и наличии бита 90 защитной метки. Фиг.10В иллюстрирует эффект от присвоения битам 91 и 92 упреждающего поиска соответственно значений "+1" и "-1". Сравнивая с фиг.10Б, легко видеть, что амплитуда выходного сигнала третьего интегратора снизилась, а длина последовательных единиц в кодированном сигнале сократилась. Соответственно уменьшилась и ошибка квантования. На фиг.10Г показано, что присвоение битам упреждающего поиска других значений, а именно присвоение обоим битам 91 и 92 упреждающего поиска значений "+1", обеспечивает еще лучшую характеристику сигма-дельта-модулятора.
Для определения комбинации битов упреждающего поиска, дающей наилучшее качество кодирования, можно использовать тот же алгоритм, который уже был описан со ссылкой на фиг.5 применительно к дельта-модуляторам. Это значит, что качество Q (с) кодирования данной последовательности входных выборок (например, Х0. . .Х20) определяется для различных комбинаций с битов упреждающего поиска (например, Z0. ..Z2). Затем выделяется выходная последовательность, соответствующая наивысшему качеству кодирования Q. Поскольку в сигма-дельта-кодере декодированный сигнал недоступен, средняя квадратичная ошибка менее привлекательна в качестве критерия качества кодирования. Выяснилось, что для представления качества кодирования Q весьма подходят нижеприведенные параметры. Их дополнительное достоинство состоит в простоте вычисления.
Наиболее длинный пробег последовательных одинаковых значений в последовательности Z0. . . Z20. Упомянутые наиболее длинные пробеги на фиг.10Б-10Г обозначены R. В этом случае выделяется последовательность, имеющая "самый короткий наиболее длинный" пробег. Безусловно последовательность, для которой R=4 (фиг.10Г), является в настоящем примере наилучшим выбором.
Размах сигнала, имеющий место в данном интеграторе. Размах сигнала третьего интегратора на фиг.10Б-10Г обозначен V. В этом случае выделяется последовательность, имеющая самый низкий размах сигнала. Последовательность, изображенная на фиг.10Г, опять же оказывается наилучшим выбором. Было обнаружено, что даже при использовании фильтра более высокого порядка (>3) весьма подходит третий интегратор. Среднее отклонение значений сигнала в данном интеграторе.
В качестве дополнительного критерия при выделении комбинации битов упреждающего поиска может служить наличие (или отсутствие) переполнения в данном интеграторе. Поскольку сигма-дельта-модуляторы весьма чувствительны к уровню входного сигнала (в отличие от дельта-модуляторов, которые чувствительны к крутизне входного сигнала), при внедрении бита защитной метки велика вероятность переполнения. Как уже было отмечено со ссылкой на фиг.7, интеграторы защищены от переполнения механизмом отсечки, которых удерживает выходной сигнал каждого интегратора на максимальном значении.
На фиг.11А-С изображены кодированный сигнал z и выходной сигнал с третьего интегратора в различных условиях. Вновь уровень входного сигнала составляет 0.5 В постоянного тока. Для сравнения на фиг.11Д изображены сигналы при отсутствии наложения защитной метки. Согласно фиг.11Б, в кодированный сигнал внедрен бит 95 защитной метки. Его положение слегка отличается от положения бита 90 защитной метки в предыдущих примерах. Под номером 96 обозначена отсечка на третьем интеграторе, вызванная внедрением бита 95 защитной метки. Согласно одному из вариантов реализации схемы модификации, различные комбинации битов упреждающего поиска тестируются до тех пор, пока не будет найдена комбинация, в которой больше не происходит отсечек. Пример тому изображен на фиг.11В, где показан эффект от присвоения биту 97 упреждающего поиска значения "+1".
Итак, раскрыты способ и устройство для наложения защитных меток на аудио- или видеосигнал. Сигнал кодируется посредством кодера, который включает в себя контур обратной связи для управления процессом кодирования, например кодер ДИКМ или (сигма-)дельта-модулятор. Защитная метка внедряется путем модификации выделенных выборок кодированного сигнала. Упомянутая модификация осуществляется до осуществления обратной связи по кодированному сигналу, в результате чего ошибки квантования, вносимые внедрением защитной метки, устраняются при последующих операциях кодирования. Кроме того, одна или несколько выборок, предшествующих выделенной выборке, также модифицируются таким образом, что ошибка, вызванная защитной меткой, дополнительно снижается. Этот эффект достигается за счет "упреждающего поиска" такой предшествующей выборки (или их комбинации), модификация которой дает наилучшее качество кодирования.
Изобретение относится к способу и устройству для внедрения в сигнал дополнительных данных. Способ и устройство предназначено для наложения защитных меток на аудио- или видеосигнал. Сигнал кодируется посредством кодера, который включает в себя контур обратной связи для управления процессом кодирования, например кодер с дифференциальной импульсно-кодовой модуляцией или (сигма-) дельта-модулятор. Защитная метка внедряется путем модификации выделенных выборок кодированного сигнала. Модификация осуществляется до осуществления обратной связи по кодированному сигналу, в результате чего ошибки квантования, вносимые внедрением защитной метки, устраняются при последующих операциях кодирования. Кроме того, одна или несколько выборок, предшествующих выделенным выборкам, также модифицируются таким образом, что ошибка, вносимая защитной меткой, дополнительно снижается. Этот эффект достигается за счет "упреждающего поиска" такой предшествующей выборки (или их комбинации), модификация которой дает наилучшее качество кодирования путем снижения шума по отношению к уровню сигнала, что и является техническим результатом, достигаемым при реализации заявленного изобретения. 4 с. и 11 з.п.ф-лы, 11 ил.
СПОСОБ ПЕРЕДАЧИ И ПРИЕМА СИГНАЛА ДОПОЛНИТЕЛЬНОЙ ИНФОРМАЦИИ СОВМЕСТНО С ТЕЛЕВИЗИОННЫМ СИГНАЛОМ ИЗОБРАЖЕНИЯ И ВАРИАНТЫ СИСТЕМ ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ | 1994 |
|
RU2033704C1 |
DE 19500160 А1, 20.07.1995 | |||
ЕР 0766468 А3, 02.04.1997 | |||
УСТРОЙСТВО ДЛЯ ЗАПИСИ ЦИФРОВЫХ ИНФОРМАЦИОННЫХ СИГНАЛОВ НА ИНФОРМАЦИОННУЮ ДОРОЖКУ МАГНИТНОГО НОСИТЕЛЯ ЗАПИСИ | 1991 |
|
RU2067781C1 |
US 5568570 А, 22.10.1996. |
Авторы
Даты
2003-12-27—Публикация
1998-12-07—Подача