СПОСОБ ОБНАРУЖЕНИЯ ЛОГОТИПА ТЕЛЕКАНАЛА В ТЕЛЕВИЗИОННОЙ ТРАНСЛЯЦИИ Российский патент 2020 года по МПК G06K9/68 

Изобретение относится к области цифровой обработки сигналов, а именно к средствам машинного (компьютерного) распознавания изображения, реализующим алгоритм сравнения полученного изображения с соответствующим шаблоном (паттерном).

Из уровня техники известны способы обнаружения логотипа телеканала в телевизионной трансляции, в которых осуществляют преобразование полученного телевизионного изображения и осуществляют его сравнение с соответствующим шаблоном (А. Воронов «Распознавание телевизионной рекламы» 09.09.2010 https://www.compression.ru/video/seminar/slides/2008_tv_commercial_detection.pdf).

В указанном источнике один из рассмотренных подходов обнаружения логотипа телеканала в телевизионной трансляции основан на выявлении в полученном изображении области со стабильными границами. Выявление для заданной последовательности кадров области со стабильными границами свидетельствует о присутствии в полученном изображении логотипа телеканала.

Данный способ требует для реализации значительного количества времени (от десятков секунд до нескольких минут) вследствие необходимости анализа большой последовательности кадров. Достоверность способа напрямую зависит от количества проанализированных кадров. Вследствие необходимости реализации сложных алгоритмов вычисления и анализа большого количества информации, необходимым является наличие больших вычислительных мощностей. Кроме того, указанный способ не обеспечивает достаточной надежности и достоверности обнаружения логотипа телеканала, поскольку он основан на косвенном анализе (выявление области со стабильными границами), в нем недостаточно исключается влияние помех и фона, не учитывается область возможного нахождения логотипа что может привести к не распознаванию логотипа или к ложному распознаванию.

Другой подход, рассмотренный в упомянутом источнике информации, предусматривает, что для обнаружения логотипа телеканала в телевизионной трансляции, на основе последовательности кадров создается шаблон логотипа и осуществляется его поиск по краям (углам) полученного изображения. Алгоритм сравнения полученного изображения с соответствующим шаблоном основан на определении количества пикселей полученного изображения, совпавших с пикселями шаблона. Порог наличия логотипа в кадре может быть получен на основании соответствующих гистограмм распределения.

Для осуществления способа, вследствие необходимости реализации сложных алгоритмов вычисления, необходимым является наличие больших вычислительных мощностей. Кроме того, указанный способ не обеспечивает достаточной надежности и достоверности обнаружения логотипа, поскольку в нем недостаточно исключается влияние помех, не учитывается возможность изменения фона, область поиска логотипа является ограниченной, отсутствует возможность выявления анимированного, полупрозрачного или иного трудноидентефицируемого логотипа телеканала.

Наиболее близким аналогом является раскрытый в RU 2615335 С2, 04.04.2017 способ обнаружения логотипа телеканала в телевизионной трансляции, в котором для обнаружения логотипа телеканала в телевизионной трансляции, на основе анализа кадров изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра в области поиска.

Указанный известный способ предполагает реализацию сложного вычислительного алгоритма обработки полученного изображения, заключающегося в преобразовании цветового пространства изображения телевизионного экрана в цветовое пространство, в котором разделяются яркость и цветность, и вычислении разности между значением яркости каждого пиксела в сохраненном шаблоне логотипе телеканала и значением яркости соответствующего пиксела в соответствующей области для определения совпадения между шаблоном и частью полученного изображения. Кроме того, в известном способе, в случае, если в результате определения совпадения между шаблоном и частью полученного изображения степень достоверности определения не соответствует установленной, предполагается информационное взаимодействие с удаленным сервером, что требует введение дополнительных вычислительных мощностей, каналов связи и увеличивает время обработки полученного изображения. Также известный способ не исключает ложноположительные случаи распознавания логотипа телеканала, в нем не учитывается влияние и возможность изменения помех и фона, что делает его недостаточно достоверным.

Задачей и техническим результатом заявленного способа является повышение надежности и достоверности способа обнаружения логотипа телеканала в телевизионной трансляции при одновременном уменьшении затрачиваемого времени и мощности используемого вычислительного оборудования.

Указанное достигается за счет того, что в способе обнаружения логотипа телеканала в телевизионной трансляции, на основе анализа изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра в области поиска, осуществляется предварительная обработка полученного изображения и изображения шаблона, для чего цветность уменьшается до градаций серого, выделяются границы объектов, снижается контрастность однотонных участков; затем в заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных выбранных точек полученного изображения и соответствующих точек изображения шаблона вычисляется процент совпадения для каждой градации серого, после чего вычисляется произведение указанных процентов совпадения для каждой градации серого, в том случае, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала; при этом если полученный нормированный процент похожих точек в области поиска ниже заданного значения, обрабатываются данные из двух областей рядом с заданной областью поиска в тех же строках кадра, в которых находятся точки изображения шаблона, для чего определяются: L2-норма между пикселями изображения шаблона и заданной области поиска, предварительно конвертированных в изображения меньшего размера; разница между средним значением яркости пикселя в области поиска и в первой дополнительной области; разница между средним значением яркости пикселя в первой и второй дополнительных областях поиска; среднеквадратичное отклонение от среднего значения яркости пикселя для всех пикселей области поиска; при этом для каждой из указанных величин устанавливается несколько значений границ возможных диапазонов, при этом каждый диапазон значений определяет соответствующую степень достоверности, и в случае, если при суммировании всех степеней достоверности суммарная достоверность превышает установленное значение, делается вывод о наличии на кадре полученного изображения логотипа телеканала.

В частном случае реализации заявленного способа (далее - в частном случае), при вычислении процента совпадения для каждой градации серого используется от 2 до 10 значений градации серого.

В частном случае, значение количества выбираемых от общего числа пикселей точек составляет 10-20%.

В частном случае, изображение шаблона и полученное изображение являются изображениями, усредненными по серии кадров. Указанное количество кадров может составлять, в частности, от 10 до 30.

В частном случае, установленное значение суммарной достоверности, при превышении которого делается вывод о наличии на кадре полученного изображения логотипа телеканала, составляет от до 2 до 3.

В заявленном способе, отсутствие необходимости обмена данными с внешними серверами, наряду с использованием на первом этапе способа упрощенного алгоритма сравнения изображения шаблона и изображения области поиска, при котором сравнение осуществляется по нескольким (а не по 256 как в известном уровне техники) значениям градации серого для некоторого количества выбранных точек (а не для всех 100% пикселей) ускоряет процесс, уменьшает время обнаружения логотипа телеканала и позволяет отказаться от использования вычислительного оборудования высокой мощности. При этом реализация указанного первого этапа способа, наряду с осуществлением обработки данных из смежных областей указанным образом и оценкой дополнительных параметров яркости, повышает достоверность и надежность заявленного способа за счет исключения влияния помех, вызванных, например, подвижностью фона или в случаях, когда логотип достаточно сильно отличается от шаблона, или является нечетким (например, полупрозрачным) логотипом, расположенным на неконтрастном фоне. Учет указанных параметров яркости позволяет сравнить область поиска с другими частями изображения в видеопотоке. Если область поиска не содержит неподвижного логотипа, то средние значения яркости пикселей в близко расположенных областях обычно отличаются незначительно. При этом среднеквадратичное отклонение яркости пикселей в области поиска на изображении логотипа, усредненном за несколько кадров, обычно заметно отличается от аналогичной величины для видеопотока.

В заявленном способе полученное изображение может быть получено устройством получения (захвата) изображений (например, камерой, в том числе с ПЗС матрицей) с экрана (например, телевизора, компьютера) и передаваться для дальнейшей обработки. Кроме того, в заявленном способе полученное изображение может извлекаться из сигнала сети телевещания соответствующим декодером (ТВ тюнером и т.д.) и передаваться для дальнейшей обработки. Таким образом, заявленный способ может быть реализован на соответствующей аппаратной базе телевизионных приемников, компьютеров с соответствующим оборудованием, принимающим телевизионный сигнал, в том числе мобильных устройств.

В качестве примера рассмотрена возможность определения присутствия логотипа телеканала на полученном цветном кадре телевизионной трансляции с разрешением 720×576 пикселей. Время «обработки» одного кадра указанного размера составило менее 5 мс. Полученное изображение и изображение шаблона логотипа являются усредненными за 25 кадров. Каждые 25 кадров накопление сбрасывается и начинается заново. Такая предварительная обработка позволяет отфильтровать выбросы, характерные для изображений с помехами, которые невозможно убрать при по кадровой обработке. Периодический сброс накопления необходим для увеличения вклада новых кадров по сравнению с накопленными. Для вычисления L2 нормы, изображения шаблона и заданной области поиска конвертировались в изображения 20×20 пикселей. Для реализации алгоритма использовался одноядерный процессор, для сравнения на изображениях шаблона и кадров трансляции, в области поиска, было выбрано случайным образом 1\9 точек от общего числа пикселей, для которых сравнивалось 3 значения градации серого: процент совпадения белых с белыми, черных с черными, серых с серыми. Были экспериментально установлены допустимые границы L2 нормы, диапазонов значений средней яркости и ее среднеквадратического отклонения, каждому диапазону значений было приведено значение достоверности алгоритма. В зависимости от результата сравнения с каждым из диапазонов, суммарная уверенность алгоритма в наличии логотипа на полученном изображении увеличивалась или уменьшалась на соответствующие значения. Если при суммировании уверенности, после проверки дополнительных параметров, это значение превышало порог от 2 до 3, делался вывод, что на полученном изображении в заданной области находится логотип.

В результате анализа результатов использования заявленного способа было установлено, что точность определения логотипа телеканала составляет около 97% для набора данных видеосигнала полученных с 24 ч. трансляции 35 вариантов федеральных каналов с разных регионов РФ.

Изобретение относится к области цифровой обработки сигналов. Техническим результатом является повышение надежности и достоверности способа обнаружения логотипа телеканала в телевизионной трансляции при одновременном уменьшении затрачиваемого времени и мощности используемого вычислительного оборудования. Способ обнаружения логотипа телеканала в телевизионной трансляции заключается в том, что осуществляется предварительная обработка полученного изображения и изображения шаблона. В заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных точек полученного изображения и соответствующих точек изображения шаблона вычисляется произведение процентов совпадения для каждой градации серого, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о наличии на кадре логотипа телеканала. Если указанный процент ниже заданного значения, обрабатываются данные из двух областей рядом с заданной областью поиска в тех же строках кадра, в которых находятся точки изображения шаблона, для чего определяются соответствующие величины, для каждой из которых определяют степень достоверности, если суммарная достоверность превышает установленное значение, делается вывод о наличии на кадре логотипа телеканала. 5 з.п. ф-лы.

1. Способ обнаружения логотипа телеканала в телевизионной трансляции, в котором на основе анализа изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения посредством поэтапного сравнения шаблона и части кадра в области поиска, отличающийся тем, что осуществляется предварительная обработка полученного изображения и изображения шаблона, для чего цветность уменьшается до градаций серого, выделяются границы объектов, снижается контрастность однотонных участков; затем в заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных выбранных точек полученного изображения и соответствующих точек изображения шаблона вычисляется процент совпадения для каждой градации серого, после чего вычисляется произведение указанных процентов совпадения для каждой градации серого, в том случае, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала; при этом если полученный нормированный процент похожих точек в области поиска ниже заданного значения, обрабатываются данные из двух областей рядом с заданной областью поиска в тех же строках кадра, в которых находятся точки изображения шаблона, для чего определяются: L2-норма между пикселями изображения шаблона и заданной области поиска, предварительно конвертированных в изображения меньшего размера; разница между средним значением яркости пикселя в области поиска и в первой дополнительной области; разница между средним значением яркости пикселя в первой и второй дополнительных областях поиска; среднеквадратичное отклонение от среднего значения яркости пикселя для всех пикселей области поиска; при этом для каждой из указанных величин устанавливается несколько значений границ возможных диапазонов, при этом каждый диапазон значений определяет соответствующую степень достоверности, и в случае, если при суммировании всех степеней достоверности суммарная достоверность превышает установленное значение, делается вывод о наличии на кадре полученного изображения логотипа телеканала.

2. Способ по п. 1 формулы, в котором при вычислении процента совпадения для каждой градации серого используется от 2 до 10 значений градации серого.

3. Способ по п. 1 формулы, в котором значение количества выбираемых от общего числа пикселей точек составляет 10-20%.

4. Способ по п. 1 формулы, в котором изображение шаблона и полученное изображение являются изображениями, усредненными по серии кадров.

5. Способ по п. 4 формулы, в котором указанное количество кадров составляет от 10 до 30.

6. Способ по п. 1 формулы, в котором установленное значение суммарной достоверности, при превышении которого делается вывод о наличии на кадре полученного изображения логотипа телеканала, составляет от 2 до 3.