ВСТАВКА ДОПОЛНИТЕЛЬНЫХ ДАННЫХ В КОДИРОВАННЫЙ СИГНАЛ Российский патент 2003 года по МПК H04N7/50 

Изобретение относится к способу и устройству для вставки дополнительных данных в кодированный сигнал. Этот способ содержит стадии кодирования сигнала согласно заданному процессу кодирования, включающему в себя стадию подачи кодированного сигнала обратно для управления этим кодированием, и модификации кодированного сигнала для представления дополнительных данных. Изобретение также относится к способу и устройству для извлечения дополнительных данных из такого кодированного сигнала.

Существует растущая необходимость размещения водяных знаков в аудио- и видеосигналах. Водяными знаками являются передаваемые блоки дополнительных данных, вставляемые в мультимедийное имущество, предпочтительно воспринимаемые как невидимые. Они содержат информацию, например, об источнике или статусе авторского права документов и аудиовизуальных программ. Они могут быть использованы для обеспечения законного доказательства обладателя авторского права и позволяют прослеживать нарушения авторского права и поддерживают защиту интеллектуальной собственности.

Известный способ пометки водяными знаками видеосигнала, определенный во вводном абзаце, раскрыт в статье F. Hartung и B. Giros: "Digital Watermarking of Raw and Compressed Video", SPIE Vol. 2952, pp.205-212. Пометка водяными знаками достигается здесь путем модификации избранных коэффициентов дискретного косинусного преобразования (ДКП) в выходном потоке битов кодера MPEG2 (экспертная группа по кинематографии), включая коэффициенты ДКП изображений, кодированных с предсказанием (Р или В). Предсказывающие кодеры включают в себя петлю обратной связи для управления процессом кодирования. Кодируется ошибка предсказания (разница между входным сигналом и предсказанием для него), а не сам входной сигнал. Сигнал предсказания получается путем локального декодирования кодированного сигнала.

В способе известного уровня техники водяные знаки вставляют после стандартного кодирования. Емкость, доступная для пометки водяными знаками кодированного сигнала таким образом, оказывается ограниченной.

Целью изобретения является обеспечение способа вставки дополнительных данных в кодированный аудио- или видеосигнал, который позволяет изменять больше битов кодированного сигнала без существенного влияния на качество восприятия.

С этой целью способ согласно изобретению отличается тем, что стадию подачи кодированного сигнала обратно выполняют после стадии модификации этого сигнала. Стадию модификации кодированного сигнала теперь выполняют внутри контура обратной связи кодера. Любую модификацию кодированного сигнала с целью пометки водяными знаками, таким образом, подают обратно и ее подвергают компенсированию в последующей операции кодирования. Водяной знак, вставленный таким образом, влияет на процесс декодирования в приемнике подобно тому, как он влияет на процесс кодирования в передатчике. В результате процесса компенсации в передатчике приемники воспроизводят значительно лучшую копию входного сигнала. Отношение сигнал/шум значительно улучшается или, альтернативно, больше данных водяных знаков может быть вставлено при заданном отношении сигнал/шум.

Изобретение особенно полезно для вставки дополнительных данных в сигналы, кодируемые одним битом. Сигналы, кодируемые одним битом, являются очень уязвимыми к пометке водяными знаками. Такие кодеры производят однобитовую выходную выборку за каждую стадию кодирования. Модификация выходной выборки этого кодированного сигнала с целью пометки водяными знаками обычно является более существенной, чем, например, простое изменение величины многобитовой выборки.

Примерами однобитовых кодеров являются дельта-модуляторы, сигма-дельта-модуляторы и кодеры формы шума. Они также принадлежат к семейству кодеров, имеющих контур обратной связи. Сигма-дельта-модуляция предусмотрена для записи высококачественного звука на звуковой версии цифрового универсального диска (DVD) с использованием частоты выборки 2822400 Гц (64•44100) и с отношением сигнал/шум 115 дБ. Водяные знаки вставляют, например, путем замены избранных битов выходного потока бит битами цифрового образца водяных знаков. Если это делается способом, описанным в известном уровне техники, т.е. после стандартного кодирования, то вставка битов водяных знаков значительно повышает шум квантования. Например, замена 1 бита из каждых 100 битов аудиосигнала, модулированного сигма-дельта-модуляцией, битом водяных знаков увеличит шум квантования до -60 дБ. В противоположность этому изобретение позволяет изменять 1 бит на 100 битов сигма-дельта-модулированного аудиосигнала ценой увеличения шума квантования только на 1 дБ. Это соответствует скорости передачи битов водяных знаков, равной около 28000 битов в секунду.

Фиг. 1 показывает устройство для вставки дополнительных данных в кодированный аудио- или видеосигнал согласно изобретению.

Фиг. 2 показывает устройство для вставки дополнительных данных в дельта-модулированный аудиосигнал согласно изобретению.

Фиг. 3-5 показывают формы сигналов для иллюстрации работы устройства, показанного на фиг.2.

Фиг. 6 показывает устройство для вставки дополнительных данных в сигма-дельта-модулированный аудиосигнал согласно изобретению.

Фиг. 7-9 показывают формы сигналов для иллюстрации работы устройства, показанного на фиг.6.

Фиг. 10 показывает устройство для извлечения вставленного водяного знака из сигнала, кодированного при помощи устройства, показанного на фиг.2 или фиг.6.

Фиг. 11 показывает устройство для извлечения вставленного водяного знака из сигнала, кодированного при помощи устройства, показанного на фиг.1.

Фиг. 12 показывает дополнительный вариант извлечения водяного знака из (сигма-)дельта-модулированного сигнала.

Фиг. 13 показывает формы сигналов для иллюстрации работы варианта, показанного на фиг.12.

Фиг.1 является схемой устройства для вставки дополнительных данных в кодированный аудио- или видеосигнал согласно изобретению. Это устройство содержит предсказывающий кодер 1 и схему 2 модификации. Предсказывающий кодер 1 принимает (аналоговый или цифровой) входной сигнал х и содержит вычитатель 11 для вычитания сигнала предсказания из входного сигнала х. Сигнал е ошибки предсказания, полученный таким образом, подается на стадию кодирования 12. Предсказывающий кодер дополнительно содержит путь обратной связи для получения сигнала предсказания , включающий стадию декодирования 13, сумматор 14 и элемент задержки 15. Предсказывающий кодер 1 может иметь различные формы, которые известны per se в данной области, такие как дельта-модулятор, дифференциальный импульсно-кодовый модулятор или кодер дискретного косинусного преобразования (ДКП).

Схема 2 модификации принимает кодированный сигнал у ошибки предсказания и выполнена с возможностью модифицировать этот сигнал согласно заданному водяному знаку w. Примеры такой схемы модификации известны в данной области техники. В ссылке Hartung и др., уже обсуждавшейся ранее, 8•8 блоков сигнала водяных знаков w подвергаются ДКП, и коэффициенты ДКП, полученные таким образом, добавляются к избранным коэффициентам ДКП кодированного этим преобразованием сигнала ошибки предсказания. Другой пример раскрыт в I.J. Cox, J. Kilian, T. Leighton и T. Shamoon: "A Secure Imperceptible yet Perceptually Salient, Spread Spectrum Watermark foe Multimedia", a Conference Record of Southcon 96, June 25-27, 1996, pp.192-197. В этой ссылке, видеосигнал помечается водяными знаками при помощи добавления последовательности действительных чисел к коэффициентам преобразования самого старшего порядка, за исключением коэффициента ДК.

Согласно изобретению, схема 2 модификации размещена между стадией кодирования 12 и стадией декодирования 13, т.е. внутри контура предсказывающего кодера. Сигнал предсказания, таким образом, извлекается из модифицированного кодированного сигнала z вместо немодифицированного кодированного сигнала у. Его действие становится очевидным, когда считается, что стадия пометки водяными знаками сигнала эквивалентна умышленному вводу ошибок в кодированный сигнал у. В системе известного уровня техники эти "ошибки" вводятся в переданный сигнал. Как известно в области кодирования с предсказанием, такие ошибки распространяются через процесс декодирования в приемник и вызывают серьезное ухудшение качества сигнала. Здесь, однако, ошибки вводятся внутри контура предсказания. Любая "ошибка", введенная стадией 2 модификации, теперь подается обратно через стадию декодирования 13 к вычитателю 11, что ведет к тому, что ошибка предсказания впоследствии кодируется таким образом, чтобы ее действие было скомпенсировано. В результате допустимый "коэффициент ошибок" для заданного отношения сигнал/шум значительно увеличен и/или существенно улучшено воспринимаемое качество.

Приемники для декодирования кодированного сигнала от кодеров, показанных на фиг. 1, обычно идентичны контуру предсказания этих кодеров и поэтому отдельно не показаны.

Более детальный пример будет описан со ссылкой на фиг.2, которая показывает дельта-модулятор для кодирования аналогового или кодированного ИКМ аудиосигнала. Это устройство содержит вычитатель 21 для вычитания сигнала предсказания из входного сигнала х. Ошибка предсказания е подается к детектору полярности 22, который производит со скоростью, определенной частотой выборки f_s, выходную выборку +1 для и выходную выборку -1 для . Контур обратной связи включает в себя декодирующий фильтр 23 (сумматор или интегратор) для получения сигнала предсказания. Согласно изобретению, схема 24 модификации расположена между детектором полярности 22 и фильтром 23. В этом варианте схемой модификации является мультиплексор, который заменяет избранные биты выхода детектора полярности (например, каждый 100-й бит) образцом битов водяных знаков в ответ на сигнал выбора s. Другим примером вставки водяного знака является инверсия избранных выборок кодированного сигнала, причем данные водяного знака представляются числом периодов битов между последовательными инвертированными выборками.

Фиг. 3-5 показывают различные формы сигналов для иллюстрации работы устройства, показанного на фиг.2. На этих фигурах цифра 30 обозначает входной сигнал х.

Для ссылки, фиг. 3 показывает формы сигналов стандартного дельта-модулятора без средств пометки водяными знаками. На этой фигуре позицией 31 обозначен сигнал предсказания или, эквивалентно, выходной сигнал приемника (за исключением операции фильтрации нижних частот для устранения избыточных высокочастотных компонент). Позиция 32 обозначает выходную последовательность бит стандартного дельта-модулятора.

Фиг. 4 объясняет эффект пометки водяными знаками кодированного сигнала способом, описанным в известном уровне техники. Позиция 34 обозначает последовательность бит, которая получена путем замены 6-го, 16-го и 26-го бита последовательности бит 32 (фиг.3) на -1, -1 и +1 соответственно, что соответствует цифровому образцу водяных знаков w='001'. Позиция 33 обозначает выходной сигнал приемника, принимающего эту последовательность бит. Можно ясно видеть значительное уменьшение отношения сигнал/шум.

Фиг. 5 показывает результат вставки водяного знака согласно изобретению. Позицией 35 обозначен сигнал предсказания . Позиция 36 обозначает выходную последовательность бит этого устройства. Подобно фиг.4, образец бит водяного знака w= '001' размещается в 6-1, 16-1 и 26-битовой позиции последовательности бит 36, но теперь битовая модификация выполняется перед подачей кодированного сигнала обратно. Первый бит 51 вставленного водяного знака не отличается от выборки -1, которую детектор полярности производит для этого периода выборки. Соответственно, уровень сигнала предсказания 54 является таким же, что и уровень сигнала предсказания 37 на фиг.3. Второй бит 52 этого водяного знака отличается от значения +1, которое производит кодер полярности. Поскольку этот "ошибочный" бит теперь подается обратно через контур предсказания, сигнал предсказания допускает уровень 55, который дельта-модулятор компенсирует путем производства различных последующих бит. В результате сигнал предсказания 35 уже пересекается со входным сигналом опять после нескольких периодов выборки. Подобным же образом третий бит водяного знака 53 заставляет устройство производить выборку +1, тогда как в противном случае это устройство произвело бы (и детектор полярности тогда произвел бы в самом деле) значение -1 для этого периода выборки. Опять требуется лишь несколько периодов выборки для компенсации "ошибочного" уровня предсказания 56.

Позицией 35 на фиг.5 также обозначен выходной сигнал приемника. Сравнение форм сигналов 33 и 35 показывает, что отношение сигнал/шум значительно улучшено.

Фиг. 6 показывает сигма-дельта-модулятор согласно изобретению. Сигма-дельта-модуляция предусмотрена для записи высококачественного звука на звуковой версии цифрового универсального диска. Она отличается от дельта-модуляции тем, что входной сигнал х фильтруется перед кодированием при помощи того же самого фильтра, что и фильтр в контуре предсказания дельта-модулятора. Фильтры во входном пути и пути обратной связи затем заменяются единственным фильтром в прямом пути контура кодирования. Соответственно, сигма-дельта-модулятор, показанный на фиг.6, отличается от дельта-модулятора, показанного на фиг.2, тем, что фильтр 23 был перенесен с пути обратной связи на прямой путь.

Фиг.7 показывает формы сигналов стандартного сигма-дельта-модулятора без средств пометки водяными знаками. Позицией 70 обозначен входной сигнал х, а позиция 71 обозначает кодированный выходной сигнал. Сигма-дельта-модулятор производит больше позитивных выборок, когда входной сигнал увеличивается. Как показано на фиг.7, входное напряжение -0,5 В кодируется как последовательность трех импульсов -1 В и одного импульса +1 В, входное напряжение 0 В кодируется как чередующийся образец из импульсов -1 В и +1 В, а входное напряжение +0,5 В кодируется как последовательность трех импульсов +1 В и одного импульса -1 В. Этот сигнал декодируется в приемном конце путем изменения формы принимаемых импульсов и пропускания их через фильтр нижних частот. На фиг.7 этот сигнал демодулируется путем усреднения выборок из этой последовательности бита. Цифра 72 обозначает восстановленный сигнал, за исключением временной задержки, вызванной операцией усреднения. Этот восстановленный сигнал, таким образом, синхронизирован по времени с входным сигналом.

Фиг.8 показывает результат пометки водяными знаками кодированного сигнала согласно известному уровню техники, т.е. после стандартной сигма-дельта-модуляции. В этом примере выборка -1 73 (фиг.7) стандартного сигма-дельта-модулятора была заменена выборкой +1 74. Эта замена не влияет на процесс кодирования и оставляет остальную часть кодированного выходного сигнала 75 неизменной. Позицией 76 обозначен восстановленный сигнал на приемном конце. Разница с восстановленным сигналом 72 на фиг. 7 становится явной в 77 (которая на этой фигуре является более ранней по времени из-за временной синхронизации этих сигналов) и пульсирует через весь остальной процесс декодирования. Опять же можно наблюдать значительное уменьшение отношения сигнал/шум.

Фиг. 9 показывает результат вставки того же самого образца 74 водяного знака согласно изобретению. Теперь результат этого водяного знака подается обратно на вход и компенсируется путем различного кодирования входного сигнала после вставки водяного знака. Восстановленный сигнал 78 теперь напоминает входной сигнал значительно лучше.

Практический пример сигма-дельта-модулятора, показанного на фиг.6, для кодирования высококачественных аудиосигналов с частотой выборки f_s 2822400 (64•44100) Гц имеет отношение сигнал/шум 115 дБ. Было обнаружено, что замена 1 выборки на 100 выборок увеличивает шум квантования лишь на 1 дБ. Это соответствует скорости передачи бит водяных знаков 28000 бит/с.

Фиг. 10 показывает устройство для извлечения вставленного водяного знака из дельта-модулированного сигнала, генерируемого устройством, показанным на фиг. 2, или сигма-дельта-модулированного сигнала, генерируемого устройством, показанным на фиг.6. Модифицированный кодированный сигнал z подается на вход данных регистра 100, синхронизируемого сигналом выбора s. Выходом регистра 100 является образец w бит водяного знака. Сигнал выбора s определяет, какие биты последовательности бит являются битами водяного знака. Этот сигнал выбора генерируется стадией делителя 101, которая делит частоту выборки f_s на заданное число N, например 100. Предполагается, что этот сигнал синхронизируется с соответствующим сигналом выбора s в передатчике. Синхронизация может быть достигнута путем размещения заданного образца бит синхронизации в сигнале водяного знака w. В таком варианте детектор 102 синхронизации детектирует этот образец и изменяет фазу стадии делителя 101, пока не детектирован образец синхронизации.

Фиг.11 показывает устройство для извлечения вставленного водяного знака, которое может быть использовано, если на приемном конце доступен первоначальный входной сигнал. Это устройство содержит такой же кодер 1, что и соответствующий передатчик, показанный на фиг.1. Однако контур обратной связи теперь принимает помеченный водяными знаками сигнал z. Соответственно, восстановленный сигнал предсказания является таким же, что и соответствующий сигнал, генерируемый на конце передатчика. Локально кодированный сигнал у и принятый сигнал z подаются в схему извлечения 3, которая выполняет обратные операции схемы модификации 2 на фиг.1. Например, если сигнал водяных знаков является последовательностью действительных чисел, которые были добавлены к коэффициентам ДКП MPEG-кодера, то схема извлечения является вычитателем.

Фиг. 12 показывает конкретный вариант для извлечения водяного знака из (сигма-)дельта-модулированного сигнала. На этой фигуре ссылочные позиции 21-23 относятся к такому же дельта-модулятору, что и показанный на фиг.2. Схема извлечения 3 содержит логический элемент ИСКЛЮЧАЮЩЕЕ ИЛИ 301, который детектирует, являются ли равными биты помеченного водяным знаком сигнала z и соответствующие биты кодированного сигнала у. Если они не равны друг другу, то был обнаружен период битов, в котором помеченный водяным знаком сигнал z несет инвертированный бит. Этот детектированный сигнал прикладывается к счетчику 302, который синхронизируется с частотой выборки f_s и производит двоичный "0", если число периодов битов между двумя последующими инвертированными битами является первым заданным числом (например, 75), и двоичную "1", если это число периодов битов является вторым заданным числом (например, 125).

Фиг. 13 показывает формы сигналов для иллюстрации работы этого варианта. Ссылочной позицией 130 обозначен первоначальный входной сигнал х, позиция 131 обозначает принятый помеченный водяным знаком сигнал z, а позиция 132 обозначает сигнал предсказания , который получен путем декодирования помеченного водяным знаком сигнала. Позиция 133 обозначает выходной сигнал детектора 22 локальной полярности (фиг.12). Как можно легко увидеть из этой фигуры, детектор локальной полярности производит выход -1 (обозначенный позицией 134), где принятый сигнал z содержит +1 (обозначенный позицией 135). Это расхождение детектируется логическим элементом ИСКЛЮЧАЮЩЕЕ ИЛИ 301 (фиг. 12). Подобным же образом, логический элемент ИСКЛЮЧАЮЩЕЕ ИЛИ детектирует присутствие битов водяного знака, обозначенных позициями 136 и 137. Счетчик 302 (фиг. 12) подсчитывает число периодов битов между обнаруженными битами водяного знака. В данном (упрощенном) примере расстояние в 15 периодов битов представляет "0", а расстояние в 7 периодов битов представляет "1" образца водяного знака.

В итоге, описан способ вставки водяных знаков в сигнал, кодированный при помощи кодера, имеющего контур обратной связи, например сигма-дельта-модулятором (21, 22, 23). Цифровой образец водяных знаков (w) вставляется в сигнал (z) путем модификации избранных выборок (например, замены каждого 100-го бита) кодированного сигнала (у) выборками образца водяных знаков. Схема (24) для модификации выборок помещена внутри контура кодера. Результат пометки водяными знаками, таким образом, компенсируется в последующих стадиях кодирования, и влияние на отношение сигнал/шум является незначительным.

Изобретение относится, в частности, к способу и устройству для вставки дополнительных данных в кодированный сигнал, а также к способу и устройству для извлечения дополнительных данных из такого кодированного сигнала. Техническим результатом является обеспечение способа вставки дополнительных данных в кодированный аудио- или видеосигнал, который позволяет изменять больше битов кодированного сигнала без существенного влияния на качество восприятия. Технический результат достигается тем, что предложен способ вставки водяных знаков в сигнал, кодированный при помощи декодера, имеющего контур обратной связи, например, сигма-дельта-модулятора. Цифровой образец водяных знаков вставляется в сигнал путем модификации избранных выборок (например, замены каждого 100-го бита) кодированного сигнала выборками образца водяных знаков. Схема для модификации этих выборок помещена внутри контура кодера. Результат пометки водяными знаками, таким образом, компенсируется в последующих стадиях кодирования, и влияние на отношение сигнал/шум является незначительным. 7 с. и 13 з.п.ф-лы, 13 ил.

1. Способ вставки дополнительных данных в кодированный сигнал, содержащий стадии кодирования сигнала в соответствии с заданным предсказывающим процессом кодирования, имеющим контур обратной связи; вставки дополнительных данных в кодированный сигнал путем модификации кодированного сигнала в соответствии с дополнительными данными, отличающийся тем, что стадию модификации кодированного сигнала выполняют до подачи кодированного сигнала в контур обратной связи. 2. Способ по п. 1, в котором кодирование является однобитовым кодированием. 3. Способ по п. 2, в котором кодирование является сигма-дельта-модуляцией. 4. Способ по п. 1, или 2, или 3, в котором стадия модификации кодированного сигнала содержит замену избранных выборок кодированного сигнала выборками дополнительных данных. 5. Способ по п. 2 или 3, в котором стадия модификации кодированного сигнала содержит инверсию избранных выборок кодированного одним битом сигнала, причем вставленные данные представлены количеством периодов выборки между последовательными модифицированными выборками. 6. Способ извлечения дополнительных данных из принятого кодированного сигнала, в котором избранные выборки заменяют выборками дополнительных данных, отличающийся тем, что выполняют стадию отбора этих выборок в ответ на заданный сигнал выбора, идентифицирующий упомянутые избранные выборки, и используют избранные выборки для представления дополнительных данных. 7. Способ по п. 6, который далее содержит стадии детектирования образца синхронизации, включенного в дополнительные данные, и генерирования упомянутого сигнала выбора в ответ на детектирование образца синхронизации. 8. Способ извлечения дополнительных данных из принятого кодированного сигнала, содержащий стадии: кодирование первоначального сигнала в соответствии с заданным предсказывающим процессом кодирования, имеющим контур обратной связи, и сравнение кодированного первоначального сигнала с принятым кодированным сигналом, причем разница между этими сигналами представляет дополнительные данные. 9. Способ по п. 8, в котором дополнительные данные представлены количеством периодов выборки между последовательными инвертированными выборками, причем способ содержит стадию подсчета количества периодов выборки между инвертированными выборками для извлечения этих дополнительных данных. 10. Устройство для вставки дополнительных данных в кодированный сигнал, содержащее предсказывающий кодер, содержащий контур обратной связи, средство для вставки дополнительных данных в кодированный сигнал путем модификации кодированного сигнала в соответствии с упомянутыми дополнительными данными, отличающееся тем, что контур обратной связи соединен со средством для вставки так, чтобы передавать обратно модифицированный кодированный сигнал. 11. Устройство по п. 10, в котором кодер является однобитовым кодером. 12. Устройство по п. 11, в котором кодер является сигма-дельта-модулятором. 13. Устройство по п. 10, или 11, или 12, в котором средством для модификации кодированного сигнала является мультиплексор для замены избранных выборок кодированного сигнала выборками дополнительных данных. 14. Устройство по п. 11 или 12, в котором средством для модификации кодированного сигнала является инвертор для инверсии избранных выборок кодированного одним битом сигнала, причем вставленные данные представлены количеством периодов выборки между последовательными модифицированными выборками. 15. Устройство для извлечения дополнительных данных из принятого кодированного сигнала, в котором избранные выборки заменены на выборки дополнительных данных, отличающееся тем, что оно содержит регистр для отбора упомянутых выборок в ответ на заданный сигнал выбора. 16. Устройство по п. 15, которое содержит средства для детектирования образца синхронизации, включенного в дополнительные данные, и средства для генерации сигнала выбора в ответ на это детектирование. 17. Устройство для извлечения дополнительных данных из принятого кодированного сигнала, содержащее предсказывающий кодер, принимающий первоначальный сигнал для его кодирования, причем предсказывающий кодер содержит контур обратной связи, на который подается принятый кодированный сигнал, и средства для сравнения кодированного первоначального сигнала с принятым кодированным сигналом, причем разница между этими сигналами представляет дополнительные данные. 18. Устройство по п. 17, в котором дополнительные данные представлены количеством периодов выборки между последовательными инвертированными выборками, причем устройство содержит счетчик для подсчета количества периодов выборки между инвертированными выборками для извлечения дополнительных данных. 19. Запоминающая среда для запоминания на ней кодированного сигнала со вставленными дополнительными данными, отличающаяся тем, что избранными выборками или битами кодированного сигнала являются выборки упомянутых дополнительных данных. 20. Запоминающая среда по п. 19, отличающаяся тем, что избранные биты кодированного сигнала являются инвертированными, причем количество периодов битов между последовательными инвертированными битами представляет вставленные данные.