СПОСОБ И СИСТЕМА ПОСТРОЕНИЯ ЦИФРОВОГО ОТПЕЧАТКА ВИДЕОКОНТЕНТА Российский патент 2018 года по МПК G06T5/40 G06K9/46 

ОБЛАСТЬ ТЕХНИКИ

Техническое решение относится к области программных средств обработки и распознавания аудио- и видеоизображений, а именно к способам построения и сравнения цифровых отпечатков видеоконтента.

УРОВЕНЬ ТЕХНИКИ

По итогам 2014 года российский рынок цифрового медиаконтента составил $2,5 млрд. Это на 25% больше, чем в прошлом году. Эти данные приводит J’son & Partners Consulting.

Под цифровым медиаконтентом авторы исследования понимают информационно-развлекательные материалы в цифровом виде, распространяемые через Интернет и другие каналы связи. Это могут быть приложения, музыка, видео, текст и т.д.

В J’son & Partners Consulting прогнозируют, что в последующие годы рынок цифрового медиаконтента в России продолжит рост. В 2016 году, согласно прогнозу, он будет составлять уже $3,5 млрд. Это будет 2,4% от общемирового рынка контента. В 2010 году Россия имела 2% и занимала по этому показателю пятое место после США (27%), Японии (14%), Великобритании (4%) и Южной Кореи (4%).

Аналитики отмечают, что в России увеличивается количество мобильных устройств для потребления контента, таких как смартфоны и планшеты. Этот фактор позитивно сказывается на развитии цифрового контента. Но есть и факторы, препятствующие этому, например, высокий уровень пиратства.

Для борьбы с подобного рода явлениями чаще всего необходимо доказать, что видеоконтент был незаконно скопирован, то есть определить дубликат видеоконтента.

Решение данной проблемы основывается на двух различных подходах, а именно использование локальных или же глобальных характеристик видеопотока для построения цифрового отпечатка, так называемого “дескриптора”.

Существует ряд общедоступных решений, которые в разное время публиковались различными исследовательскими группами, которые развивают направление глобальных дескрипторов.

Из уровня техники известен метод цветовых YUV гистограмм, подробно описанный в M. Y. M. Naphade and B.-L. Yeo, “A novel scheme for fast and efficient video sequence matching using compact signatures.,” in Proc. SPIE, Storage and Retrieval for Media Databases 2000, Vol. 3972, pp. 564 – 572, Jan. 2000 и A. Hampapur, K. Hyun, and R. M. Bolle. Comparison of sequence matching techniques for video copy detection. Vol. 4676, pages 194_201. SPIE, 2001. Согласно данному методу строят гистограмму интенсивности для каждого кадра, а метрику определяют через пересечение гистограмм. Недостатками данного способа являются: время построения гистограммы (оказывается значительным и оказывается узким местом для сильно нагруженной системы) и неустойчивость к локальным зашумлениям и выбросам.

Известен метод, приведенный в J. Law-To, L. Chen, A. Joly, I. Laptev, O. Buisson, V. Gouet-Brunet, N. Boujemaa, and F. Stentiford. Video copy detection: a comparative study. In CIVR '07: Proceedings of the 6th ACM international conference on Image and video retrieval, pages 371_378, New York, NY, USA, 2007. ACM. Для каждого кадра рассчитывается единая характеристика, так называемая активность и далее проводится анализ и построения цифрового отпечатка вокруг пикселя, доставляющего максимум, определенного функционала активности. Недостатками данного способа являются: время построения, отсутствие инвариантности относительно преобразований растяжений-сжатий видеопотока (т.е. при изменении количества кадров предъявляемых за секунду).

Известен метод, описанный в Sunil Lee and Chang D Yoo. Video fingerprinting based on centroids of gradients orientations, данный метод опирается на анализ информации о градиентах интенсивности. Сперва проводится предварительная обработка видео, а именно приведение к постоянному fps, после проводится преобразование в grayscale формат, а ширина и высота кадров приводится к единому размеру. Такая предобработка полезна чтобы получить устойчивость к изменениям цвета и размера изображения на экране. Далее каждый кадр разбивается на несколько блоков (в статье приводятся цифры 4 на 2) и для каждого блока вычисляются координаты точки, а именно отношение суммы по всем пикселям блока, произведения нормы градиента умноженного на величину угла между градиентом и горизонталью кадра, к сумме норм градиентов по блоку. Эти четыре числа используются в качестве цифрового отпечатка кадра. Недостатком такого решения являются существенные потери на вычисление поля градиентов в каждом пикселе.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Данное техническое решение направлено на устранение недостатков, присущих существующим аналогам.

Технический результат от использования данного технического решения заключается в инвариантности относительно преобразований растяжений-сжатий видеопотока; устойчивости к локальным зашумлениям и выбросам при создании цифрового отпечатка фрагмента видеоконтента, повышении скорости создания цифрового отпечатка фрагмента видеоконтента и уменьшении количества потребляемых ресурсов вычислительного средства, требуемых для построения цифрового отпечатка.

Данный технический результат достигается за счет использования усреднения, нормировки и менее ресурсоемких алгоритмов создания цифрового отпечатка, позволяющих уменьшить объем вычислений.

Способ и система построения цифрового отпечатка видеоконтента включает следующие шаги: получают фрагмент видеоконтента, временной шаг цифрового отпечатка; извлекают из фрагмента видеоконтента последовательные блоки кадров, равные по длительности временному шагу цифрового отпечатка, при этом: разбивая каждый блок кадров на четыре равных подблока вертикальной и горизонтальной плоскостью, проходящей через центры кадров, определяя суммарную интенсивность всех пикселей каждого подблока, определяя относительную интенсивность каждого подблока в блоке; формируют цифровой отпечаток, используя относительные интенсивности подблоков каждого блока.

Интенсивность пикселей определяется как Y компонента цветовой модели YUV.

В качестве фрагмента видеоконтента, для которого строится цифровой отпечаток, может быть взят фрагмент видеоконтента без помех, и/или рекламы, и/или типовых заставок. Выбор фрагмента видеоконтента не влияет на сущность изобретения.

Данное техническое решение может быть выполнено в виде системы построения цифрового отпечатка видеоконтента, которая включает в себя: одно или более устройство обработки команд, одно или более устройство хранения данных, одну или более программ, где одна или более программ хранятся на одном или более устройстве хранения данных и исполняются на одном и более процессоре, причем одна или более программ включает следующие инструкции: получают фрагмент видеоконтента, временной шаг цифрового отпечатка; извлекают из фрагмента видеоконтента последовательные блоки кадров, равные по длительности временному шагу цифрового отпечатка, при этом: разбивая каждый блок кадров на четыре равных подблока вертикальной и горизонтальной плоскостью, проходящей через центры кадров, определяя суммарную интенсивность всех пикселей каждого подблока, определяя относительную интенсивность каждого подблока в блоке; формируют цифровой отпечаток, используя относительные интенсивности подблоков каждого блока.

Интенсивность пикселей определяется как Y компонента цветовой модели YUV.

В качестве фрагмента видеоконтента, для которого строится цифровой отпечаток, может быть взят фрагмент видеоконтента без помех, и/или рекламы, и/или типовых заставок. Выбор фрагмента видеоконтента не влияет на сущность изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 – схема разбиения блоков кадров фрагмента видеоконтента на четыре равных подблока;

Фиг.2 – схема построения цифрового отпечатка;

Фиг.3 – схема системы для реализации технического решения;

Фиг.4 – блок-схема одного из вариантов реализации способа построения цифрового отпечатка видеоконтента.

ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Данное техническое решение в различных своих вариантах осуществления может быть выполнено в виде способа, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.

В некоторых вариантах реализации, техническое решение может быть реализовано в виде распределенной компьютерной системы.

В данном техническом решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, чётко определённую последовательность операций (действий, инструкций).

Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, ОЗУ (оперативное запоминающее устройство), ПЗУ (постоянное запоминающее устройство), флэш-память, жесткие диски (HDD), твердотельные накопители (SSD), оптические приводы.

Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании технического решения.

Видеоконтент - визуальная информация или ее часть, представленная в форме видеосигнала или цифрового потока видеоданных.

Цифровой отпечаток - характеристика элемента данных, полученная в результате применения к данным односторонней функции; при этом вычислительно невозможно найти другой элемент данных, обладающий такой же характеристикой. В случае цифрового отпечатка видеоконтента, элементом данных является видеоконтент.

Нормировка (нормализация, нормирование) — способ приведения данных различной природы к единому масштабу, позволяющий их после этого сравнивать друг с другом.

Цветовая модель — математическая модель описания представления цветов в виде кортежей чисел (обычно из трёх, реже — четырёх значений), называемых цветовыми компонентами или цветовыми координатами. Все возможные значения цветов, задаваемые моделью, определяют цветовое пространство. Цветовая модель обычно используется для хранения и обработки цветов в дискретном виде, при представлении ее в вычислительных устройствах, в частности, ЭВМ. Цветовая модель задаёт соответствие между воспринимаемыми человеком цветами, хранимыми в памяти, и цветами, формируемым на устройствах вывода (возможно, при заданных условиях).

Цветовая модель YUV (модель YUV) - широко применяется в телевещании и хранении/обработке видеоданных. Яркостная компонента содержит «черно-белое» (в оттенках серого) изображение, а оставшиеся две компоненты содержат информацию для восстановления требуемого цвета. В цветовом пространстве YUV есть один компонент, который представляет яркость (сигнал яркости), и два других компонента, которые представляют цвет (сигнал цветности). В то время как яркость передается со всеми деталями, некоторые детали в компонентах цветоразностного сигнала, лишённого информации о яркости, могут быть удалены путем понижения разрешения отсчетов (фильтрация или усреднение), что может быть сделано несколькими способами (т.о. существует множество форматов для сохранения изображения в цветовом пространстве YUV).

FPS или кадровая частота, частота кадросмен (англ. Frames per Second (FPS), Frame rate, Frame frequency) - количество сменяемых кадров за единицу времени в телевидении и кинематографе.

В данном техническом решении эффекты инвариантности относительно преобразований растяжений-сжатий видеопотока, устойчивости к локальным зашумлениям и выбросам при создании цифрового отпечатка фрагмента видеоконтента, достигаются за счет использования усреднения и нормировки; эффект повышения скорости создания цифрового отпечатка фрагмента видеоконтента и уменьшение потребляемых ресурсов вычислительного средства, требуемых при осуществлении этого процесса достигаются за счет использования менее ресурсоемких алгоритмов создания цифрового отпечатка, позволяющих уменьшить объем вычислений.

Согласно предлагаемому техническому решению, способ и система построения цифрового отпечатка видеоконтента включает следующие шаги:

Получают фрагмент видеоконтента, временной шаг цифрового отпечатка.

Фрагмент видеоконтента может быть получен из файла, оцифрованной видеозаписи, видеопотока интернет-ресурса и т.п.

Интервал фрагмента видеоконтента может быть произвольным и в зависимости от цели построения цифрового отпечатка может быть выбран такой интервал, где отсутствуют помехи, реклама, типовые заставки.

Временной шаг цифрового отпечатка может быть равен одной секунде. Вместо секундного интервала можно использовать больший или меньший интервал. Больший интервал позволяет дополнительно уменьшить размер цифрового отпечатка и может быть использован для предварительной фильтрации видеоконтента.

При декодировании фрагмента видеоконтента может осуществляться конверсия из RGB (или другой цветовой модели) в YUV; конверсия может быть осуществлена по формулам:

Y = 0.299 * R + 0.587 * G + 0.114 * B; (1)

U = -0.14713 * R - 0.28886 * G + 0.436 * B + 128; (2)

V = 0.615 * R - 0.51499 * G - 0.10001 * B + 128; (3)

Где R, G, B — соответственно интенсивности цветов красного, зеленого и синего, Y — яркостная составляющая, U и V — цветоразностные составляющие.

Извлекают из фрагмента видеоконтента последовательные блоки кадров, равные по длительности временному шагу цифрового отпечатка, при этом: разбивают каждый блок кадров на четыре равных подблока вертикальной и горизонтальной плоскостью, проходящей через центры кадров;

Такое разбиение устойчиво к наличию симметричных черных полос появляющихся при изменении соотношения сторон экрана. Согласно Фиг.1 блок кадров (101) имеет три размерности - горизонталь, вертикаль, время. По времени один блок покрывает интервал равный временному шагу цифрового отпечатка, в который попадает, по меньшей мере, один кадр. Таким образом, получают четыре подблока (на Фиг.1 - 102, 103, 104, 105).

В частном варианте реализации описываемого технического решения каждый блок кадров могут разбивать попеременно одной вертикальной либо горизонтальной плоскостью, проходящей через центры кадров.

определяют суммарную интенсивность всех пикселей каждого подблока;

Для этого суммируют интенсивность всех пикселей в каждом из четырех подблоков. Таким образом, суммарная интенсивность всех пикселей в каждом из четырех подблоков вычисляется по формуле:
Isk = , где ; (4)

Isk - суммарная интенсивность всех пикселей k-ого подблока;

Ip – интенсивность пикселя, входящего в состав одного из подблоков.

В частном варианте реализации описываемого технического решения интенсивность пикселей определяется как Y компонента цветовой модели YUV (цветовая модель, в которой цвет представляется как 3 компоненты — яркость (Y) и две цветоразностных (U и V).

определяют относительную интенсивность каждого подблока в блоке.

Для этого ранее определенные суммарные интенсивности всех пикселей каждого подблока суммируют, т.о. определяя общую сумму интенсивностей всех пикселей во всем блоке (сложив эти четыре числа), затем делят первые суммы на вторую и получают относительные интенсивности четырех подблоков в диапазоне от 0 до 1. Таким образом, относительную интенсивность каждого подблока в блоке определяют по формуле:

Ik = , где; (5)

k – номер подблока;

Ik – относительная интенсивность k-ого подблока;

Isk - суммарная интенсивность всех пикселей k-ого подблока;

- сумма суммарных интенсивностей всех пикселей каждого подблока.

Формируют цифровой отпечаток, используя относительные интенсивности подблоков каждого блока.

Далее используют определенные на предыдущем шаге относительные интенсивности вышеупомянутых подблоков, цифровой отпечаток формируется как последовательность наборов чисел из относительных интенсивностей каждого из блоков. Каждый набор состоит из четырех элементов (относительная интенсивность подблоков) и относится к определенному временному шагу цифрового отпечатка. Последовательность этих наборов соответствует последовательным временным отрезкам видеоконтента, размер которых равен временного шагу цифрового отпечатка.

Согласно Фиг.2 фрагмент видеоконтента 201 состоит из блоков кадров, таких как блок кадров 206, 207, 208 и т.д., которые в свою очередь состоят из подблоков (например, блок кадров 206 состоит из подблоков 209, 210, 211, 212), по временной оси 202 один блок покрывает интервал равный временному шагу (203, 204, 205 и т.д.) цифрового отпечатка

Общий принцип построения цифрового отпечатка по описанному техническому решению приведен в формуле:

FP = , (6)

где j= 1, 2, 3, … , N;

N – номер шага при движении по временной оси фрагмента видеоконтента;

I - относительная интенсивность подблока;

FP представляет собой цифровой отпечаток фрагмента видеоконтента.

При кодировании относительных интенсивностей в составе цифрового отпечатка может использоваться преобразование их из вещественных чисел в интервале 0..1 в целые числа в интервале 0..MAX, где MAX - нормировочная константа, влияющая с одной стороны на точность отпечатка и погрешность сравнения, а с другой стороны на его размер в байтах и скорость обработки.

Может применяться другой способ кодирования относительных интенсивностей, например сохранение их как чисел с плавающей точкой как в стандартных 4-хбайтовых и 8-мибайтовых форматах, так и различные варианты упаковки чисел с плавающей точкой в меньшее количество байт. В частности для этого может использоваться уменьшение количества бит выделяемых под мантиссу и порядок числа. Способ кодирования относительных интенсивностей в составе цифрового отпечатка не влияет на сущность изобретения.

Согласно Фиг.3, примерная система для реализации технического решения включает в себя устройство обработки данных 300. Устройство обработки данных 300 может быть сконфигурировано как клиент, сервер, мобильное устройство или любое другое вычислительное устройство, которое взаимодействует с данными в системе совместной работы, основанной на сети. В самой базовой конфигурации устройство обработки данных 300, как правило, включает в себя, по меньшей мере, один процессор 301 и устройство хранения данных 302. В зависимости от точной конфигурации и типа вычислительного устройства системная память 302 может быть энергозависимой (например, оперативное запоминающее устройство (ОЗУ, RAM)), энергонезависимой (например, постоянное запоминающее устройство (ПЗУ, ROM)) или некоторой их комбинацией. Устройство хранения данных 302, как правило, включает в себя одну или более прикладных программ 303 и может включать в себя данные 304 программ. Настоящее техническое решение как способ, описанное в деталях выше, реализовано в прикладных программах 303.

Устройство обработки данных 300 может иметь дополнительные особенности или функциональные возможности. Например, устройство обработки данных 300 может также включать в себя дополнительные устройства хранения данных (съемные и несъемные), такие как, например, магнитные диски, оптические диски или лента. Такие дополнительные хранилища проиллюстрированы на Фиг.3 посредством несъемного хранилища 307 и съемного хранилища 308. Компьютерные носители данных могут включать в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или при помощи любой технологии для хранения информации. Устройство хранения данных 302, несъемное хранилище 307 и съемное хранилище 308 являются примерами компьютерных носителей данных. Компьютерные носители данных включают в себя, но не в ограничительном смысле, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), электрически стираемое программируемое ПЗУ (EEPROM), флэш-память или память, выполненную по другой технологии, ПЗУ на компакт-диске (CD-ROM), универсальные цифровые диски (DVD) или другие оптические запоминающие устройства, магнитные кассеты, магнитные ленты, хранилища на магнитных дисках или другие магнитные запоминающие устройства, или любую другую среду, которая может быть использована для хранения желаемой информации и к которой может получить доступ устройство обработки данных 300. Любой такой компьютерный носитель данных может быть частью устройства 300. Устройство обработки данных 300 может также включать в себя устройство(а) 305 ввода, такие как клавиатура, мышь, перо, устройство с речевым вводом, устройство сенсорного ввода, и так далее. Устройство (а) 306 вывода, такие как дисплей, динамики, принтер и тому подобное, также могут быть включены в состав устройства.

Устройство обработки данных 300 содержит коммуникационные соединения, которые позволяют устройству связываться с другими вычислительными устройствами, например по сети. Сети включают в себя локальные сети и глобальные сети наряду с другими большими масштабируемыми сетями, включая, но не в ограничительном смысле, корпоративные сети и экстрасети. Коммуникационное соединение является примером коммуникационной среды. Как правило, коммуникационная среда может быть реализована при помощи машиночитаемых инструкций, структур данных, программных модулей или других данных в модулированном информационном сигнале, таком как несущая волна, или в другом транспортном механизме, и включает в себя любую среду доставки информации. Термин «модулированный информационный сигнал» означает сигнал, одна или более из его характеристик изменены или установлены таким образом, чтобы закодировать информацию в этом сигнале. Для примера, но без ограничения, коммуникационные среды включают в себя проводные среды, такие как проводная сеть или прямое проводное соединение, и беспроводные среды, такие как акустические, радиочастотные, инфракрасные и другие беспроводные среды. Термин «машиночитаемый носитель», как употребляется в этом документе, включает в себя как носители данных, так и коммуникационные среды.

На Фиг.4 представлена блок-схема одного из вариантов реализации способа построения цифрового отпечатка видеоконтента.

Специалисту в данной области, очевидно, что конкретные варианты осуществления способа и системы построения цифрового отпечатка видеоконтента были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема технического решения.

Изобретение относится к области вычислительной техники. Техническим результатом является построение цифрового отпечатка видеоконтента при инвариантности относительно преобразований растяжений-сжатий видеопотока; устойчивости к локальным зашумлениям и выбросам при создании цифрового отпечатка фрагмента видеоконтента, повышении скорости создания цифрового отпечатка фрагмента видеоконтента и уменьшении количества потребляемых ресурсов вычислительного средства, требуемых для построения цифрового отпечатка. Раскрыт способ построения цифрового отпечатка видеоконтента, включающий следующие шаги: получают фрагмент видеоконтента, временной шаг цифрового отпечатка; извлекают из фрагмента видеоконтента последовательные блоки кадров, равные по длительности временному шагу цифрового отпечатка, при этом: разбивают каждый блок кадров на четыре равных подблока вертикальной и горизонтальной плоскостью, проходящей через центры кадров, определяют суммарную интенсивность всех пикселей каждого подблока, определяют относительную интенсивность каждого подблока в блоке; формируют цифровой отпечаток, используя относительные интенсивности подблоков каждого блока. 3 н. и 2 з.п. ф-лы, 4 ил.

1. Способ построения цифрового отпечатка видеоконтента, включающий следующие шаги:

получают фрагмент видеоконтента, временной шаг цифрового отпечатка;

извлекают из фрагмента видеоконтента последовательные блоки кадров, равные по длительности временному шагу цифрового отпечатка, при этом:

- разбивают каждый блок кадров на четыре равных подблока вертикальной и горизонтальной плоскостью, проходящей через центры кадров,

- определяют суммарную интенсивность всех пикселей каждого подблока,

- определяют относительную интенсивность каждого подблока в блоке;

формируют цифровой отпечаток, используя относительные интенсивности подблоков каждого блока.

2. Способ по п. 1, характеризующийся тем, что интенсивность пикселей определяется как Y компонента цветовой модели YUV.

3. Способ по п. 1, характеризующийся тем, в качестве фрагмента видеоконтента, для которого строится цифровой отпечаток, может быть взят фрагмент видеоконтента без помех, и/или рекламы, и/или типовых заставок.

4. Система построения цифрового отпечатка видеоконтента, содержащая:

по крайней мере одно устройство обработки команд;

по крайней мере одно устройство хранения данных;

одну или более компьютерных программ, загружаемых в по крайней мере одно вышеупомянутое устройство хранения данных и выполняемых на по крайне мере одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа по любому из пп. 1-3.

5. Машиночитаемый носитель данных, содержащий исполняемые одним или более процессором машиночитаемые инструкции, которые при их исполнении реализуют выполнение способа построения цифрового отпечатка видеоконтента по любому из пп. 1-3.