МАРКИРОВКА ВОДЯНЫМ ЗНАКОМ СИГНАЛА С ПЕРЕМЕННЫМ РАСХОДОМ БИТОВ Российский патент 2008 года по МПК H04N7/26 H04N7/08 G06T1/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройствам и способам для внедрения и обнаружения водяных знаков в информационных сигналах, и в частности в информационных сигналах, которые могут быть переданы с различным битрейтом (количеством битов, приходящимся на секунду потока данных, или, иными словами, расходом битов).

Предшествующий уровень техники

Маркировка водяным знаком информационных сигналов является методикой передачи дополнительных данных наряду с информационным сигналом. Например, методики маркировки водяным знаком могут быть использованы для внедрения информации авторских прав и контроля копирования в мультимедийные сигналы, такие как аудиосигналы, видеосигналы или сигналы данных.

Главным требованием в отношении схемы маркировки водяным знаком является то, чтобы он не был заметным (то есть, в случае звукового сигнала он был неслышимым, а в случае видеосигнала был невидимым), в то же время являясь стойким к попыткам удалить водяной знак из сигнала (например, так, чтобы удаление водяного знака привело к искажению сигнала). Будет понятно, что стойкость водяного знака является компромиссом с качеством сигнала, в который внедряют водяной знак. Например, если водяной знак сильно внедрен в звуковой сигнал (и его поэтому трудно удалить), есть вероятность того, что качество звукового сигнала будет снижено.

Информационные сигналы могут передаваться с различными битрейтами. В некоторых сигналах, таких как сигналы стандарта MPEG 2, битрейт закодирован в битовый поток.

Задачей настоящего изобретения является создание схемы внедрения водяного знака, пригодной для внедрения водяного знака в информационные сигналы, которые могут передаваться с различными битрейтами.

Задачей настоящего изобретения является создание схемы маркировки водяным знаком, которая по существу ориентирована на решение, по меньшей мере, одной из проблем предшествующего уровня техники, которые упоминаются здесь или иных проблем.

Сущность изобретения

Согласно первому аспекту настоящего изобретения предоставляется способ внедрения водяного знака в информационный сигнал, в котором процессом внедрения водяного знака управляют, посредством, по меньшей мере, одного параметра внедрения, причем величина параметра внедрения зависит от битрейта информационного сигнала.

Посредством выбора параметров внедрения водяного знака в зависимости от битрейта сигнала может быть достигнут компромисс, соответствующий оптимальным рабочим характеристикам, между тем, что водяной знак является стойким, и тем, что он в то же самое время не является значительно заметным. Эксперимент показал, что в случае использования единственного набора параметров внедрения безотносительно битрейта сигнала, водяной знак с большей вероятностью будет заметным при низких битрейтах и будет относительно нестойким при высоких битрейтах.

Согласно другому аспекту настоящего изобретения предоставляется устройство, выполненное с возможностью внедрения водяного знака в информационный сигнал, включающее в себя средство внедрения, выполненное с возможностью внедрения водяного знака в информационный сигнал, используя процесс внедрения, управляемый, по меньшей мере, одним параметром внедрения, причем величина параметра внедрения зависит от битрейта информационного сигнала.

Согласно еще одному аспекту настоящего изобретения предоставляется маркированный водяным знаком сигнал, в котором исходный информационный сигнал маркирован водяным знаком согласно процессу маркировки водяным знаком, управляемым, по меньшей мере, одним параметром внедрения, причем величина параметра внедрения зависит от битрейта информационного сигнала.

Согласно другому аспекту настоящего изобретения предоставляется носитель записи, содержащий маркированный водяным знаком информационный сигнал, описанный выше.

Согласно еще одному аспекту настоящего изобретения предоставляется способ обнаружения водяного знака в информационном сигнале, включающий в себя анализ водяного знака, который потенциально может содержать водяной знак, с целью обнаружения водяного знака, при этом процесс анализа зависит от битрейта информационного сигнала.

Согласно другому аспекту настоящего изобретения, предоставляется устройство обнаружения водяного знака в информационном сигнале, включающее в себя средство анализа водяного знака, выполненное с возможностью анализа информационного сигнала, который может потенциально содержать водяной знак, с целью обнаружения водяного знака, при этом работа средства анализа зависит от битрейта информационного сигнала.

Согласно еще одному аспекту настоящего изобретения предоставляется компьютерная программа, выполненная с возможностью реализации, по меньшей мере, одного из вышеописанных способов.

Согласно другому аспекту настоящего изобретения предоставляется носитель записи, содержащий описанную выше компьютерную программу.

Согласно еще одному аспекту настоящего изобретения предоставляется способ обеспечения доступности для загрузки компьютерной программы, описанной выше.

Другие аспекты изобретения будут очевидными из зависимых пунктов формулы изобретения.

Перечень фигур чертежей

Для лучшего понимания изобретения и для иллюстрации реализации вариантов его воплощения, изобретение будет описано со ссылкой на сопроводительные схематические чертежи, приведенные в качестве примера, на которых:

Фиг.1 - принципиальная схема устройства, пригодного для внедрения водяного знака в соответствии с предпочтительным вариантом воплощения настоящего изобретения,

Фиг.2А-2G - диаграммы, иллюстрирующие работу устройства по Фиг.1, и

Фиг.3 - схема устройства обнаружения водяного знака в соответствии с вариантом воплощения настоящего изобретения.

Подробное описание предпочтительных вариантов воплощения изобретения

Согласно настоящему изобретению выбираются различные установки параметров внедрения водяного знака (включая параметры, которые могут управлять типом используемых способов маркировки водяным знаком) в зависимости от битрейта информационного сигнала.

Эксперименты показали, что обеспечение оптимального компромисса между стойкостью и видимостью для сигналов с высоким битрейтом (например, сигналов высокой четкости стандарта MPEG) возможно для определенных наборов параметров. Однако, если используется тот же самый алгоритм с теми же самыми параметрами для сигналов с низким битрейтом, то визуальное качество сигнала будет низким. Авторы изобретения на практике доказали, что вместо обеспечения установки общего параметра для водяных знаков, рабочие характеристики системы можно значительно улучшить при использовании различных установок параметров внедрения водяного знака и/или различных способов маркировки водяным знаком в зависимости от битрейта информационного сигнала.

Настоящее изобретение особенно пригодно для практического использования со сжатыми мультимедийными сигналами, в которых битрейт закодирован в битовой поток или она может быть определена из битового потока. Это облегчает обнаружение битрейта информационного потока. Например, в стандарте MPEG битрейт может быть определен на основе числа кадров в секунду в сочетании с подсчетом числа битов между любыми двумя последовательными исходными условиями, показывающими запуск изображения.

Предпочтительный вариант воплощения настоящего изобретения будет описан со ссылкой на известную схему маркировки водяным знаком. Используют единственный алгоритм внедрения. Определяют битрейт информационного сигнала (в этом случае, мультимедийного сигнала в формате MPEG2), а также набор параметров, выбранных из заранее заданной группы в зависимости от определенного битрейта. В пределах групп параметров различные наборы параметров соответствуют различным диапазонам битрейтов.

Конкретный алгоритм внедрения, используемый в этом предпочтительном варианте воплощения, является алгоритмом слияния в серии коэффициентов, описанным более подробно в WO 02/060182.

Алгоритм слияния в серии коэффициентов внедряет водяной знак внутрь сжатого видеопотока стандарта MPEG селективным отбрасыванием самых малых квантованных коэффициентов дискретного косинусного преобразования (ДКП, DCT). Отброшенные коэффициенты впоследствии сливаются в серии оставшихся коэффициентов. Решение о том, отбрасывать или не отбрасывать коэффициент, принимают на основании буфера заранее вычисленного водяного знака и числа уже отброшенных коэффициентов, приходящихся на один блок ДКП размером 8×8.

Фиг.1 показывает принципиальную схему устройства в соответствии с предпочтительным вариантом воплощения изобретения. Устройство включает в себя блок 110 синтаксического анализа, блок 120 обработки кода с переменной длиной слова (VLC), выходной каскад 130, буфер (W) 140 водяного знака и детектор 142 битрейта. Устройство выполнено с возможностью принимать элементарный видеопоток MPin. стандарта MPEG, который представляет последовательность видеоизображения.

Видеоизображение стандарта MPEG формируют разделением каждого изображения на блоки 8х8 пикселей. Пиксельные блоки представлены, в свою очередь, соответствующими блоками коэффициентов дискретного косинусного преобразования (ДКП) размером 8×8.

Фиг.2А показывает типичный пример блока 300 ДКП. Верхний левый коэффициент преобразования такого блока ДКП представляет собой среднюю яркость соответствующего пиксельного блока, и он обычно называется коэффициентом DC (постоянной составляющей). Другие коэффициенты представляют пространственные частоты, и их обычно называют коэффициентами АС (переменной составляющей). Верхние левые коэффициенты АС представляют грубые детали изображения. Более низкие правые коэффициенты представляют более тонкие детали изображения. Коэффициенты АС квантуют. Процесс квантования обуславливает то, что многие коэффициенты АС блока ДКП принимают нулевое значение, в частности коэффициенты, представляющие более тонкие детали изображения.

Для формирования битового потока стандарта MPEG коэффициенты блока 300 ДКП последовательно сканируют согласно зигзагообразному рисунку (показан позицией 301 на Фиг.2А) и затем подвергают кодированию с переменной длиной слова. Схема кодирования с переменной длиной слова является сочетанием кодирования по способу Хаффмена (Huffman) и кодирования длин серий. Каждая серия нулевых коэффициентов АС и последующего ненулевого коэффициента АС образует пару серии, которую кодируют в единственное кодовое слово переменной длины. Фиг.2 В показывает пары уровня серии блока 300 ДКП. Фиг.2С показывает ряд кодовых слов переменной длины (VLC), представляющий блок 300 ДКП, который может быть принят устройством, показанным на Фиг.1, как сигнал MPin.

В элементарном видеопотоке MPEG2 четыре таких блока яркости ДКП и два или более блоков цветности ДКП образуют макроблок, некоторое количество макроблоков образует срез, некоторое количество срезов образует изображение (поле или кадр), а ряд изображений образует видеопоследовательность. Некоторые изображения кодируют автономно (I-изображения), другие изображения кодируют с предсказанием с компенсацией движения (Р и В-изображения). В Р- и В-изображениях коэффициенты ДКП представляют различия между пикселями текущего изображения и пикселями одного или более опорных изображений, а не сами фактические пиксели.

Элементарный видеопоток MPin стандарта MPEG2 подается к блоку 110 синтаксического анализа. Блок 110 синтаксического анализа частично прерывает битовый поток MPEG и разделяет поток на кодовые слова переменной длины (VLC), представляющие коэффициенты яркости ДКП, и на другие коды MPEG, включая коды, которые указывают на битрейт сигнала. Этот блок также собирает такую информацию, как координаты блоков, тип кодирования (поле или кадр), тип сканирования (зигзагообразный или чередующийся). Слова VLC и связанная с ними информация подается на блок 120 обработки VLC. Другие коды MPEG непосредственно подаются на выходной каскад 130, с копией информации о битрейте, подаваемой к блоку 142 определения битрейта.

В этом варианте воплощения внедряемый водяной знак является псевдослучайной шумовой последовательностью в пространственной области. Например, водяной знак можно рассматривать, как образ двухмерного изображения. Пространственные величины пикселя базового водяного знака преобразуют в то же самое представление, что и видеоконтент в потоке MPEG. Другими словами, изображение водяного знака разделяют на блоки 8х8 пикселей, и соответствующие блоки подвергают дискретному косинусному преобразованию и квантованию. Следует заметить, что такая операция преобразования и квантования должна быть выполнена однажды для любого конкретного водяного знака. Коэффициенты ДКП таким образом вычисляют и хранят в буфере 140 водяного знака.

Буфер 140 водяного знака соединен с блоком 120 обработки VLC, в котором происходит фактическое внедрение водяного знака. Блок обработки VLC декодирует (121) выбранные кодовые слова переменной длины, представляющие видеоизображение, в пары уровня серии, и преобразует (122) ряд пар уровня серии в двухмерную матрицу 8х8 коэффициентов ДКП. Водяной знак внедряют в средстве (MOD) 123 модификации посредством добавления к каждому блоку ДКП видео пространственно соответствующего блока ДКП водяного знака. Добавление выполняют в соответствии с параметрами внедрения, которые будут описаны более подробно ниже.

Фиг.2D показывает типичный пример блока 302 ДКП водяного знака, соответствующего части пространственного водяного знака. Фиг.2Е показывает маркированный водяным знаком блок 303 ДКП видео, полученный добавлением маркированного водяным знаком блока 302 ДКП к блоку 300 ДКП видео.

Впоследствии, полученный в результате маркированный водяным знаком блок ДКП повторно кодируют кодером 124 переменной длины. Маркированные водяным знаком VLC подают на выходной каскад 130, который регенерирует поток MPEG посредством копирования кодов MPEG, обеспеченных блоком 110 синтаксического анализа, и введения регенерированных VLC, обеспеченных блоком 120 обработки VLC. Выходной каскад, более того, может ввести заполняющее биты, чтобы сделать выходной битрейт, равным исходному битрейту видео.

Управление способом, по которому коэффициенты ДКП водяного знака применяют к коэффициентам ДКП сигнала, осуществляется посредством некоторого количества параметров внедрения. Такие параметры могут определять правила, по которым применяют водяной знак.

Например, в диаграммах, показанных на Фиг.2А-2Е, коэффициенты водяного знака, показанные в блоке 302, только добавляются к коэффициентам ДКП блока 300 исходного изображения, когда полученная в результате соответствующая величина будет равна нулю. В этом специфическом примере лишь один из ненулевых коэффициентов (коэффициент с величиной -1 по Фиг.2А) превращается в нулевой коэффициент в блоке 2Е, так как пространственно соответствующий коэффициент водяного знака в блоке 302 имеет значение+1. Фиг.2F показывает пары уровня серии маркированного водяным знаком блока ДКП. Следует заметить, что прежние пары уровня серии (1, -1) и (0, 2) были заменены одной парой (2, 2) уровня серии. Фиг.2G показывает соответствующий выходной битовый поток. Таким образом оказывается, что операция слияния в серии коэффициентов изменила лишь один коэффициент ДКП АС в этом примере.

Различные параметры внедрения могут быть использованы для управления процессом внедрения и для реализации силы, с которой наносится водяной знак, и способом его нанесения.

Таблица 1 иллюстрирует три различных набора параметров для различных битрейтов передачи битов в рамках стандарта кодирования MPEG.

Как можно видеть, один ряд параметров используется для контента (информационно значимого содержимого) высокой четкости (ВЧ, HD) при битрейте, равном 10 Мбит/с, тогда как различные наборы параметров используют для соответствующих битрейтов в диапазонах 5-8 Мбит/с и 1-5 Мбит/с.

Величина "числа изменений" указывает на максимальное число изменений, допускаемых для атрибутов коэффициентов ДКП внутри любого одного блока ДКП 8×8.

Таблица 1Тип данныхВЧD1D1Битрейт10 Мбит/с5-8 Мбит/с1-5 Мбит/сЧисло изменений6335EI5005070ЕР5001025ЕВ5007575ЗКСЛожнаяИстиннаяИстиннаяИЛКЛожноеЛожноеИстинноеEI в %10010025ЕР в %10010025ЕВ в %10010025

EI, EP, ЕВ представляют соответственно энергетические уровни для 1-кадров, Р-кадров и В-кадров, на которых энергия может быть отброшена в расчете на блок ДКП, на основе текущих коэффициентов квантования блока ДКП. Это принимает во внимание масштабный коэффициент блоков ДКП и снижает число коэффициентов, которое может быть изменено водяным знаком.

Величина коэффициента ЗКС (зависимой от контента скорости) определяет, проведена ли проверка для определения того, рассматривать ли частотные компоненты значимыми внутри потока MPEG. Например, следует вспомнить, что низкочастотные компоненты в блоке 8х8, таком как блок 300, появляются в верхней левой части блока, а компоненты более высокой частоты появляются в нижней правой части блока. Из показанного в качестве примера блока 300 видно, что имеется только сравнительно небольшое число низкочастотных компонентов, то есть что высокочастотные компоненты не будут рассматриваться как значимые для контента изображения.

Величина ИЛК (использования линейного квантователя) определяет, выполняются ли вычисления энергии согласно или масштабу линейного квантования, или масштабу экспоненциального квантования. Такие вычисления энергии используют для определения энергии водяного знака, добавленной к сигналу, например, масштабированием величин коэффициентов водяного знака. Это будет определять влияние полученного в результате водяного знака на наблюдаемость сигнала водяного знака, а также на обнаруживаемость водяного знака (точность большинства детекторов водяного знака зависит от величины энергии внутри водяного знака относительно энергии сигнала, внутри которого внедрен водяной знак).

Наконец, EI%, ЕР% и ЕВ% задают пороговые значения в отношении того, какой процент энергии какого-либо заданного блока ДКП может быть отброшен при нанесении водяного знака.

Соответствующим выбором различных параметров внедрения на основе определенного битрейта может быть оптимизирован компромисс между стойкостью и наблюдаемостью водяного знака внутри информационного сигнала.

Будет понятно, что вышеописанный вариант воплощения приведен лишь в качестве примера. Например, тогда как заранее заданный набор параметров был использован в рассмотренном предпочтительном варианте воплощения для каждого битрейта (или диапазона битрейтов), набор параметров мог быть фактически связан с битрейтом заранее заданным алгоритмом.

В равной степени, тогда как описанные параметры в приведенном примере влияли на силу, с которой внедряется водяной знак в информационный сигнал, параметры внедрения могли бы фактически быть использованы для выбора надлежащей схемы водяного знака для применения водяного знака к информационному сигналу и/или для изменения водяного знака, примененного к информационному сигналу. В таких случаях битрейт будет таким образом влиять на процесс, с помощью которого может быть обнаружен водяной знак.

Фиг.3 показывает детектор 200 водяного знака в соответствии с вариантом воплощения настоящего изобретения. В этом примере предполагается, что процесс внедрения водяного знака меняется зависящим от битрейта параметром, так что потребуются различные процессы обнаружения для сигналов с различным битрейтом. Детектор 200 водяного знака содержит вход 210, выполненный с возможностью приема информационного сигнала, который может быть потенциально маркирован водяным знаком. Детектор 230 битрейта определяет битрейт принятого сигнала с заранее заданной точностью (такой битрейт может быть определен или посредством анализа сигнала, или посредством декодирования части сигнала, если битрейт закодирован внутри сигнала). Информация о битрейте затем подается к буферу (W) 240 параметров водяного знака и используется для выбора соответствующих параметров, используемых детектором 220 водяного знака.

Детектор 220 водяного знака принимает копию выбранных параметров водяного знака и копию принятого информационного сигнала и впоследствии формирует на выходе 250 индикацию того, был ли принятый сигнал действительно маркирован водяным знаком. Например, присутствие или отсутствие водяного знака может определить, разрешено ли копирование информационного сигнала.

Специалистам в данной области техники будет понятно, что различные реализации изобретения, не описанные специально здесь, будут рассматриваться, как попадающие под объем настоящего изобретения. Например, хотя устройство внедрения и обнаружения было описано только функционально, будет понятно, что это устройство может быть реализовано как цифровая схема, аналоговая схема, компьютерная программа или их сочетание.

Такие компьютерные программы, как и какие-либо маркированные водяным знаком сигналы, сформированные согласно способу внедрения настоящего изобретения, могут храниться на каком-либо машиночитаемом носителе информации (например, в памяти компьютера, на гибком диске, на компакт-диске или их эквиваленте), или передаваться по какой-либо среде передачи, включая как беспроводную среду, так и проводную линию связи. Понятие "носитель записи" в настоящем изобретении охватывает как подобный машиночитаемый носитель информации, так и подобную среду передачи.

В рамках настоящего описания должно быть понятно, что слова "включающий" не исключают другие элементы или этапы, что употребление в единственном числе не исключает множества, и что единственный процессор или другой блок может выполнять функции нескольких средств, упомянутых в пунктах формулы изобретения.

Внимание читателя направляется на все документы, которые были поданы одновременно с или перед этим описанием в связи с этой заявкой, которые стали доступны для публичного ознакомления с этим описанием, и содержание всех таких документов, которые приведены здесь в качестве ссылки.

Все из признаков, раскрытых в этом описании (включая прилагаемые формулу изобретения, реферат и сопроводительные чертежи) и/или все из этапов какого-либо из раскрытых способа или процесса могут быть объединены в любое сочетание, за исключением сочетаний, в которых, по меньшей мере, некоторые из таких признаков и/или шагов являются взаимно исключающими.

Каждый признак, раскрытый в этом описании (включая прилагаемые формулу изобретения, реферат и сопроводительные чертежи) может быть заменен альтернативными признаками, служащими для достижения той же самой, эквивалентной или аналогичной цели, если не оговорено обратное. Таким образом, если не оговорено обратное, каждый раскрытый признак является лишь одним примером родового ряда эквивалентных или аналогичных признаков.

Изобретение не ограничивается подробностями вышеприведенного варианта (вариантов) воплощения. Изобретение охватывает любой новый признак или любую новую совокупность признаков, раскрытых в этом описании (включая прилагаемые формулу изобретения, реферат и сопроводительные чертежи), или охватывает любой новый этап или любую новую комбинацию этапов какого-либо способа или процесса, раскрытых здесь.

Изобретение относится к устройствам и способам для внедрения и обнаружения водяных знаков в информационных сигналах. Техническим результатом является собственно создание схемы внедрения водяного знака, пригодной для внедрения водяного знака в информационные сигналы, которые могут передаваться с различными скоростями передачи битов. Предложен способ и устройство внедрения водяного знака в информационный сигнал (MPin), причем управление процессом внедрения водяного знака осуществляется посредством, по меньшей мере, одного параметра внедрения. Величина параметра внедрения зависит от скорости передачи битов информационного сигнала (MPin), и, по меньшей мере, стойкости сигнала водяного знака и наблюдаемости сигнала водяного знака. 6 н. и 5 з.п ф-лы, 9 ил., 1 табл.

1. Способ внедрения водяного знака в информационный сигнал, в котором процессом внедрения водяного знака управляют посредством, по меньшей мере, одного параметра внедрения, причем величина этого параметра внедрения зависит от расхода битов информационного сигнала и, по меньшей мере, одно из стойкости сигнала водяного знака и наблюдаемости сигнала водяного знака зависит от упомянутого параметра внедрения.2. Способ по п.1, который дополнительно включает в себя этап, на котором определяют расход битов информационного сигнала.3. Способ по п.2, в котором информацию, указывающую на расход битов, кодируют в информационном сигнале, причем расход битов определяют декодированием информации, указывающей на расход битов.4. Способ по п.1, в котором величину параметра внедрения выбирают из заранее заданного набора величин в зависимости от расхода битов информационного сигнала.5. Способ по п.1, в котором величина параметра внедрения определяет методику маркировки водяным знаком, используемую для внедрения водяного знака в информационный сигнал.6. Устройство внедрения водяного знака в информационный сигнал, включающее в себя средство внедрения, выполненное с возможностью внедрения водяного знака в информационный сигнал, используя процесс внедрения, средство для управления процессом внедрения посредством, по меньшей мере, одного параметра внедрения, и средство для управления величиной этого параметра внедрения в зависимости от расхода битов информационного сигнала таким образом, что, по меньшей мере, одно из стойкости сигнала водяного знака и наблюдаемости сигнала водяного знака зависит от упомянутого параметра внедрения.7. Устройство по п.6, дополнительно включающее в себя блок определения расхода битов, выполненный с возможностью определения расхода битов информационного сигнала.8. Маркированный водяным знаком информационный сигнал, в котором исходный информационный сигнал маркирован водяным знаком согласно процессу маркирования водяным знаком, управляемому, по меньшей мере, одним параметром внедрения, причем величина этого параметра внедрения зависит от расхода битов информационного сигнала и, по меньшей мере, одно из стойкости сигнала водяного знака и наблюдаемости сигнала водяного знака зависит от упомянутого параметра внедрения.9. Машиночитаемый носитель записи, содержащий маркированный водяным знаком информационный сигнал по п.8 для использования в программируемом устройстве обнаружения водяного знака.10. Компьютерный программный продукт, представляющий собой машиночитаемый носитель с записанной на нем программой, которая содержит этапы, выполнимые устройством внедрения водяного знака в информационный сигнал для выполнения способа по п.1.11. Машиночитаемый носитель записи, содержащий компьютерную программу для реализации в устройстве внедрения водяного знака в информационный сигнал способа по п.1.