СПОСОБ И СИСТЕМА ДЛЯ ИДЕНТИФИКАЦИИ ГРУППЫ КАДРОВ ЦИФРОВОГО ТЕЛЕВЕЩАНИЯ Российский патент 2018 года по МПК G06T7/136 G06K9/64 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к цифровому телевидению и может быть использовано для поиска в транслируемом видеоконтенте определенной заранее группы (последовательности) кадров.

УРОВЕНЬ ТЕХНИКИ

Известна система аналогичного назначения, состоящая из устройства захвата кадров анализируемого видеопотока, соединенного с сервером хранения образцов идентифицируемых видеопоследовательностей (групп кадров), осуществляющим также функцию сравнения направляемых на него кадров с хранимыми образцами видеопоследовательности (патент US 8,805,123; G06K 9/00, 12.08.2014).

Известна система аналогичного назначения, реализующая метод, заключающийся в определении для одного из нескольких кадров N-мерного вектора дескрипторов, определяемых по матрице пикселов, являющихся координатами особенностей кадров, путем сравнения значений мощности признаков указанных особенностей с адаптивно выбираемым пороговым значением (патент US 9,323,754; G06F 17/30, 26.04.2016). Данная система принята за прототип.

Недостатком аналогов, в том числе и прототипа, является отсутствие возможности достоверного определения места и времени идентификации или неидентификации группы кадров, что делает невозможным осуществление диагностирования отсутствия искажения (подмены, модификации) видеоконтента при его доставке по каналам связи различной природы из центра распространения (генерации) региональным потребителям.

Недостатком аналогов и прототипа являются высокие требования к вычислительной мощности, задействованной для выполнения алгоритмов выделения особенностей кадра, таких как контуры на основе DOG (difference of gaussians) или углы на основе оператора Харриса (Harris operator), что затрудняет или делает невозможным осуществление одновременной идентификации групп кадров не в одном, а в наборе телеканалов, например, одновременно в 64 телеканалах регионального телевещания.

Недостатком аналогов и прототипа является также повышенная чувствительность к искажениям, характерным для подвергнутых цифровому кодированию сигналов аналогового телевещания, смешанных с аддитивным шумом гауссовой или иной природы, например, с равномерным законом распределения, приводящих к искажению деталей изображения (контуров и углов), что характерно для сигналов аналогового телевидения, передаваемых на значительные (более 5000 км) расстояния от центра распространения (генерации), а затем подвергнутых цифровому кодированию.

Существенным недостатком аналогов и прототипа является также низкая устойчивость к наличию артефактов компрессии видеоданных (video compression artifacts), для которых свойственно появление в кадре объектов с блочной структурой (blocking artifacts) и резкими границами; такие помехи могут приводить к ложному детектированию контуров и/или углов, отсутствовавших в идентифицируемом контенте, что существенно снижает надежность метода идентификации, заявленного в аналогах и прототипе.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задачей заявленного изобретения является создание новой системы и реализуемого в ней способа для выполнения операций по идентификации групп кадров в видеоконтенте.

Основным техническим результатом от внедрения изобретения является устранение недостатков аналогов, а именно получение возможности одновременного поиска групп кадров в наборе цифровых телеканалов с невысокими требованиями к мощности вычислительных ресурсов, и обеспечение возможности достоверной пространственно-временной привязки факта идентификации или неидентификации групп кадров, таких, например, как рекламных роликов или критически важных информационных программ.

Дополнительными техническими эффектами от применения заявленного изобретения являются обеспечение высокой устойчивости функционирования в условиях изменения параметров масштаба видео, например с HD на SD либо с SD на HD, а также устойчивость к перекодированию видео с частичной потерей качества, например после передачи по аналоговым каналам и последующего кодирования, либо после транскодирования видео с изменением типа кодека, например, с h.264/avc на h.265/hevc и битовой скорости потока.

Заявленное изобретение в предпочтительном варианте осуществления выполняется в виде системы для обнаружения группы кадров цифрового телевещания, содержащей:

- приемник цифрового телевизионного сигнала;

- конвейер кадров, выполненный с возможностью хранения групп кадров длиной N кадров, являющихся частью идентифицируемой группы кадров (ГК);

- базу данных, содержащую координаты и значения яркости (БДК) сегментов идентифицируемой ГК;

- средство выборки значений яркости сегментов кадров, выполняющее выборку значений яркости сегментов кадров из N кадров, хранящихся в конвейере, в соответствии с координатами, считанными из БДК, и формирование вектора измерений яркости сегментов группы кадров Vg;

- устройство ранговой корреляции (УРК), выполняющее вычисление коэффициента ранговой корреляции Cr вектора Vg и значений яркости сегментов, считанных из БДК;

- устройство хранения порогового значения (УХП) идентификации кадров Th;

- средство сравнения полученного значения коэффициента ранговой корреляции Cr с пороговым значением Th;

- навигационную аппаратуру потребителей (НАП) сигналов спутниковых радионавигационных систем (СРНС);

и

- базу данных протоколов идентификации группы кадров (БДП), выполненную с возможностью записи сообщений о выявлении фактов идентификации и/или неидентификации группы кадров, а также записи значений географических координат и времени идентификации группы кадров, на основе данных получаемых от НАП.

В частном варианте реализации заявленной системы спутниковые радионавигационные системы представляют собой GPS NAVSTAR и/или ГЛОНАСС системы.

В другом частном варианте реализации заявленной системы БДК формируется на основании снятия отпечатков с идентифицируемой группы кадров, которые представляют собой измерения яркости сегментов группы кадров.

В другом частном варианте реализации заявленной системы УХП выполнено в виде регистра.

В другом частном варианте реализации заявленной системы данные, передаваемые от НАП в БДП представляют собой отсчеты вектора навигационных параметров (ВНП), включающего географические координаты места расположения системы и точное время.

Заявленное изобретение также реализуется с помощью способа обнаружения группы кадров цифрового телевещания, который содержит этапы, на которых:

- формируют и сохраняют идентифицируемую ГК длиной N кадров;

- формируют БДК идентифицируемой ГК;

- принимают цифровой телевизионный сигнал;

- выполняют выборку значений яркости сегментов кадров из полученного сигнала в соответствии с координатами, считанными из БДК;

- выполняют ранговую корреляцию на основании алгоритма ранговой корреляции Спирмена, при которой сравнивают полученные значения яркости сегментов ГК с идентифицируемой ГК;

- осуществляют сравнение полученного значения коэффициента корреляции с заданным пороговым значением, на основании которого устанавливают факт идентификации и/или неидентификации ГК в принятом сигнале.

В частном варианте реализации заявленного способа определяют географические координаты идентифицированной ГК и время факта идентификации.

В другом частном варианте реализации заявленного способа формируют БДП, которая хранит информацию о фактах идентификации и/или неидентификации ГК.

В другом частном варианте реализации заявленного способа информацию о координатах ГК и времени их идентификации получают из информации, получаемой с НАП.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 иллюстрирует функциональную схему системы для идентификации группы кадров цифрового телевещания.

Фиг. 2 иллюстрирует функциональную схему системы формирования базы данных координат и яркости сегментов идентифицируемой группы кадров.

Фиг. 3 иллюстрирует пример выборки сегментов кадров из группы кадров.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Согласно схеме на Фиг. 1 система идентификации групп кадров цифрового телевещания (100) содержит приемник цифрового телевизионного сигнала (101), соединенный выходом с конвейером кадров (102), выход которого соединен с информационным входом средства выборки значений яркости сегментов кадров (103), управляющий вход которого соединен с первым выходом базы данных координат и яркости сегментов идентифицируемой группы кадров (104). Выход устройства выборки значений яркости сегментов кадров (103) подключен к первому входу устройства ранговой корреляции (105), второй вход которого соединен с вторым выходом базы данных координат и яркости сегментов идентифицируемой группы кадров (БДК) (104). Выход устройства ранговой корреляции подключен к первому входу средства сравнения с пороговым значением (106) идентификации кадров, второй вход которого подключен к выходу устройства хранения значения порога идентификации (УХП) (107). Выход средства сравнения с пороговым значением (106) подключен к первому входу БДП (109), причем второй вход БДП соединен с выходом навигационной аппаратуры потребителей (НАП) сигналов спутниковой радионавигационной системы (СРНС) ГЛОНАСС и GPS NAVSTAR (108).

Система идентификации групп кадров цифрового телевещания (100) работает следующим образом.

Сигнал цифровой телетрансляции, принятый приемником цифрового телевизионного сигнала (101), поступает на вход конвейера кадров (102) длиной N, где N - количество кадров в идентифицируемой группе кадров, функционирующим по принципу FIFO и выполненном с произвольным доступом к хранимым кадрам. В соответствии со значениями координат идентифицируемой группы кадров (i, х, у), где i - номер кадра в идентифицируемой группе, i=1, 2, … N, (х, у) - значение координат сегмента кадра i, поступающими из БДК (104), средство выборки значений яркости сегментов кадров (103) осуществляет параллельную выборку значений яркости сегментов кадров, хранящихся в конвейере (102), с формированием на выходе вектора измерений яркости сегментов группы кадров Vg длиной K измерений, который поступает на первый вход УРК (106). На второй вход УРК (106) с выхода БДК (104) поступает предварительно сохраненный в БДК эталонный вектор измерений яркости сегментов группы кадров Ve также длиной K измерений.

Далее значение коэффициента ранговой корреляции Cr, полученное с выхода УРК (106), сравнивается с пороговым значением Th, поступающим от УХП (107), причем в случае если Cr>Th, система (100) диагностирует факт положительной идентификации группы кадров и осуществляет запись факта положительной идентификации группы кадров в цифровом потоке телепрограммы в БДП (109), причем в БДП (109) также записывается вектор навигационных параметров (ВНП), включающий географические координаты и точное время, измеренный в момент идентификации группы кадров с использованием НАП (108).

Коэффициент ранговой корреляции Спирмена Cr для векторов Vg и Ve вычисляется с использованием формулы:

где Vg[i] - i-я компонента вектора измерений яркости, полученного с выхода средства выборки значений яркости сегментов кадров;

Ve[i] - i-я компонента вектора измерений яркости, считанного из БДК;

Rg(X[i]) - ранг i-го элемента вектора X, представляющий собой порядковый номер элемента X[i] в упорядоченном по возрастанию ряду значений X;

K - количество элементов векторов Vg и Ve.

В случае отсутствия факта положительной идентификации группы кадров система также записывает в БДП (109) информацию о данном факте, совместно с записью ВНП. Таким образом, БДП (109) хранит информацию о фактах идентификации и неидентификации ГК.

На Фиг. 2 представлена функциональная схема аппаратуры для создания БДК, предназначенной для формирования отпечатков группы кадров, которую планируется идентифицировать с использованием системы идентификации групп кадров. Аппаратура для создания БДК функционирует независимо от системы идентификации групп кадров цифрового телевещания и работает следующим образом.

Сигнал цифровой телетрансляции, принятый приемником цифрового телевизионного сигнала (101), поступает на первый вход средства выборки значений яркости сегментов кадров (103), на второй вход которого подаются сгенерированные генератором двумерной псевдослучайной последовательности (ГПСП) (202) с равномерным законом распределения пары значений координат (X, Y), причем диапазоны изменения значений координат равны X=[0…а-w], Y=[0…b-h], где [а, b] - координаты правого нижнего угла кадра, [w, h] - ширина и высота используемых прямоугольных сегментов кадра (является постоянной величиной). Далее полученные отсчеты яркости сегментов кадров, а также координаты выбираемых сегментов кадров (X, Y) сохраняются в БДК (104). Период следования отсчетов ГПСП Tg выбирают с учетом количества кадров N в идентифицируемой группе и периода следования кадров Tk с использованием соотношения

при этом округляют Tg до ближайшего младшего целого, кратного Tk.

Например, при идентификации рекламного ролика длиной 7 сек с периодом следования кадров 40 мс (N=175 кадров) Tg = 175 * 40 / 256 = 27,3 мс. Ближайшее целое число, меньшее 27,3 и кратное 40, равно 20. Таким образом, период следования отсчетов ГПСП для данного примера будет равен 20 мс.

Значения ширины и высоты используемых сегментов кадров [w, h] выбирают как определенную долю от ширины и высоты самого кадра [а, b], то есть w=а/n, h=b/n, причем в качестве n выбирают значение в диапазоне от 8 до 64, кратное обоим значениям а и b, например n=16.

На Фиг. 3 представлена графическая иллюстрация примера формирования вектора Ve для группы кадров K[1], K[2], …, K[М], которую предполагается идентифицировать. В рассматриваемом примере М=1024 кадра, то есть Tg=4*Tk. Изображены выбранные с использованием ГПСП сегменты кадра, общее количество которых для рассматриваемого примера составляет 4*М. Результатом, получаемом в данном примере, является вектор Ve длиной 4*М значений, а также 4*М значений координат сегментов кадров.

Осуществление одновременной записи факта идентификации группы кадров и ВНП в БДП (109) позволяет точно и однозначно определить, в каких именно регионах распространения телевизионного контента и в какое точное время транслировался или не транслировался тот или иной телевизионный контент и обеспечить инструментальный, не зависящий от человеческого фактора контроль единства контента телевизионного вещания на значительных территориях.

Использование УРК (106) позволяет повысить достоверность идентификации группы кадров в цифровой телетрансляции в условиях воздействия помех различной природы, в том числе импульсных помех и/или нелинейных искажений и/или изменения яркости всего кадра. Использование ГПСП (110) для выборки информации, характеризующей транслируемый видеоконтент, позволяет обеспечить независимую от наличия или отсутствия определенных свойств, присущих контенту, генерацию цифрового «отпечатка» контента - вектора Ve, который сохраняется в БДК. Длина вектора Ve является составляет не более 512 значений отсчетов яркости сегментов кадров, что позволяет хранить в БДК «отпечатки» одновременно всех идентифицируемых групп кадров, например все рекламные ролики, транслирующиеся в определенный день на всех каналах ЦТВ РФ.

Низкие требования к вычислительным ресурсам позволяют реализовывать системы одновременного мониторинга значительного количества групп кадров в большом количестве телепрограмм на относительно маломощном вычислительном оборудовании.

Система реализована в программно-аппаратном комплексе MultiREC компании СТРИМ Лабс, прошла приемочные испытания и широко эксплуатируется на ряде пунктов регионального цифрового телевещания ФГУП «Российская телевизионная и радиовещательная сеть», а также в системах операторов спутникового телевидения «Триколор ТВ» и других, позволяя обеспечивать не зависящую от условий идентификацию заданных групп кадров в цифровой трансляции.

Осреднение значений яркости элементов изображения (пикселей) по сегментам позволяет существенно снизить влияние шума и артефактов компрессии на достоверность идентификации группы кадров, чем достигается поставленный технический результат.

Группа изобретений относится к цифровому телевидению и может быть использована для поиска в транслируемом видеоконтенте определенной заранее группы (последовательности) кадров. Техническим результатом является обеспечение возможности одновременного поиска групп кадров в наборе цифровых телеканалов с невысокими требованиями к мощности вычислительных ресурсов. Предложена система для обнаружения группы кадров цифрового телевещания. Система содержит приемник цифрового телевизионного сигнала, конвейер кадров, базу данных, средство выборки значений яркости сегментов кадров. Система также содержит устройство ранговой корреляции, устройство хранения порогового значения идентификации кадров, средство сравнения полученного значения коэффициента ранговой корреляции с пороговым значением идентификации кадров. Кроме того, система содержит навигационную аппаратуру потребителей сигналов спутниковых радионавигационных систем, базу данных протоколов идентификации группы кадров. 2 н. и 3 з.п. ф-лы, 3 ил.

1. Система для обнаружения группы кадров цифрового телевещания, содержащая:

приемник цифрового телевизионного сигнала;

конвейер кадров, выполненный с возможностью хранения групп кадров длиной N кадров, являющихся частью идентифицируемой группы кадров (ГК);

базу данных, содержащую координаты и значения яркости (БДК) сегментов идентифицируемой ГК;

средство выборки значений яркости сегментов кадров, выполняющее выборку значений яркости сегментов кадров из N кадров, хранящихся в конвейере, в соответствии с координатами, считанными из БДК, и формирование вектора измерений яркости сегментов группы кадров Vg;

устройство ранговой корреляции (УРК), выполняющее вычисление коэффициента ранговой корреляции Спирмена Cr вектора Vg и значений яркости сегментов, считанных из БДК;

устройство хранения порогового значения (УХП) идентификации кадров Th;

средство сравнения полученного значения коэффициента ранговой корреляции Cr с пороговым значением Th;

навигационную аппаратуру потребителей (НАП) сигналов спутниковых радионавигационных систем (СРНС);

и

базу данных протоколов идентификации группы кадров (БДП), выполненную с возможностью записи сообщений о выявлении фактов идентификации и/или не идентификации группы кадров, а также записи значений географических координат и времени идентификации группы кадров на основе данных, получаемых от НАП, причем БДП также содержит получаемые от НАП отсчеты вектора навигационных параметров (ВНП), включающего географические координаты места расположения системы и точное время.

2. Система по п. 1, характеризующаяся тем, что спутниковые радионавигационные системы представляют собой GPS NAVSTAR и/или ГЛОНАСС системы.

3. Система по п. 1, характеризующаяся тем, что БДК формируется на основании снятия отпечатков с идентифицируемой группы кадров, которые представляют собой измерения яркости сегментов группы кадров.

4. Система по п. 1, характеризующаяся тем, что УХП выполнено в виде регистра.

5. Способ обнаружения группы кадров цифрового телевещания, содержащий этапы, на которых:

формируют и сохраняют идентифицируемую группу кадров (ГК) длиной N кадров;

формируют базу данных координат и яркости сегментов идентифицируемой ГК (БДК);

принимают цифровой телевизионный сигнал;

выполняют выборку значений яркости сегментов кадров из полученного сигнала в соответствии с координатами, считанными из БДК;

выполняют ранговую корреляцию (РК) с помощью вычисления коэффициента ранговой корреляции Спирмена, при которой сравнивают полученные значения яркости сегментов ГК с идентифицируемой ГК;

осуществляют сравнение полученного значения коэффициента корреляции с заданным пороговым значением, на основании которого устанавливают факт идентификации и/или не идентификации ГК в принятом сигнале, причем

информацию о координатах ГК и времени их идентификации получают из информации, получаемой с НАП;

формируют базу данных протоколов идентификации группы кадров (БДП), выполненную с возможностью записи сообщений о выявлении фактов идентификации и/или не идентификации группы кадров, а также записи значений географических координат и времени идентификации группы кадров, на основе данных СРНС, получаемых от НАП, причем БДП также содержит получаемые от НАП отсчеты вектора навигационных параметров (ВНП), включающего географические координаты места расположения системы и точное время.