СПОСОБ ОБНАРУЖЕНИЯ ЛОГОТИПА ТЕЛЕКАНАЛА В ТЕЛЕВИЗИОННОЙ ТРАНСЛЯЦИИ Российский патент 2020 года по МПК G06K9/00 G06K9/62 

Изобретение относится к области цифровой обработки сигналов, а именно к средствам машинного (компьютерного) распознавания изображения, реализующим алгоритм сравнения полученного изображения с соответствующим шаблоном (паттерном).

Из уровня техники известны способы обнаружения логотипа телеканала в телевизионной трансляции, в которых осуществляют преобразование полученного телевизионного изображения и осуществляют его сравнение с соответствующим шаблоном (А. Воронов «Распознавание телевизионной рекламы» 09.09.2010 https://www.compression.ru/video/seminar/slides/2008_tv_commercial_detection.pdf).

В указанном источнике один из рассмотренных подходов обнаружения логотипа телеканала в телевизионной трансляции основан на выявлении в полученном изображении области со стабильными границами. Выявление для заданной последовательности кадров области со стабильными границами свидетельствует о присутствии в полученном изображении логотипа телеканала.

Данный способ требует для реализации значительного количества времени (от десятков секунд до нескольких минут) вследствие необходимости анализа большой последовательности кадров. Достоверность способа напрямую зависит от количества проанализированных кадров и не подходит для мгновенного или покадрового определения присутствия логотипа в полученном изображении. Вследствие необходимости реализации сложных алгоритмов вычисления и анализа большого количества информации, необходимым является наличие больших вычислительных мощностей. Кроме того, указанный способ не обеспечивает достаточной надежности и достоверности обнаружения логотипа телеканала, поскольку он основан на косвенном анализе (выявление области со стабильными границами), в нем недостаточно исключается влияние помех и фона, не учитывается область возможного нахождения логотипа что может привести к не распознаванию логотипа или к ложному распознаванию.

Другой подход, рассмотренный в упомянутом источнике информации, предусматривает, что для обнаружения логотипа телеканала в телевизионной трансляции, на основе последовательности кадров создается шаблон логотипа и осуществляется его поиск по краям (углам) полученного изображения. Алгоритм сравнения полученного изображения с соответствующим шаблоном основан на определении количества пикселей полученного изображения, совпавших с пикселями шаблона. Порог наличия логотипа в кадре может быть получен на основании соответствующих гистограмм распределения.

Для осуществления способа, вследствие необходимости реализации сложных алгоритмов вычисления, необходимым является наличие больших вычислительных мощностей. Кроме того, указанный способ не обеспечивает достаточной надежности и достоверности обнаружения логотипа, поскольку в нем недостаточно исключается влияние помех, не учитывается возможность изменения фона, область поиска логотипа является ограниченной, отсутствует возможность выявления анимированного, полупрозрачного или иного трудноидентефицируемого логотипа телеканала.

Наиболее близким аналогом является раскрытый в RU 2615335 С2, 04.04.2017 способ обнаружения логотипа телеканала в телевизионной трансляции, в котором для обнаружения логотипа телеканала в телевизионной трансляции, на основе анализа кадров изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра в области поиска.

Указанный известный способ предполагает реализацию сложного вычислительного алгоритма обработки полученного изображения, заключающегося в преобразовании цветового пространства изображения телевизионного экрана в цветовое пространство, в котором разделяются яркость и цветность, и вычислении разности между значением яркости каждого пиксела в сохраненном шаблоне логотипе телеканала и значением яркости соответствующего пиксела в соответствующей области для определения совпадения между шаблоном и частью полученного изображения. Кроме того, в известном способе, в случае, если в результате определения совпадения между шаблоном и частью полученного изображения степень достоверности определения не соответствует установленной, предполагается информационное взаимодействие с удаленным сервером, что требует введение дополнительных вычислительных мощностей, каналов связи и увеличивает время обработки полученного изображения. Также известный способ не исключает ложноположительные случаи распознавания логотипа телеканала, в нем не учитывается влияние и возможность изменения помех и фона, что делает его недостаточно достоверным.

Задачей и техническим результатом заявленного способа является повышение надежности и достоверности способа обнаружения логотипа телеканала в телевизионной трансляции при одновременном уменьшении затрачиваемого времени и мощности используемого вычислительного оборудования, возможность проведения покадрового анализа изображения.

Указанное достигается за счет того, что в способе обнаружения логотипа телеканала в телевизионной трансляции, на основе анализа изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра в области поиска, осуществляется предварительная обработка полученного изображения и изображения шаблона, для чего цветность уменьшается до градаций серого, выделяются границы объектов, снижается контрастность однотонных участков; затем в заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных выбранных точек полученного изображения и соответствующих точек изображения шаблона вычисляется процент совпадения для каждой градации серого, после чего вычисляется произведение указанных процентов совпадения для каждой градации серого, в том случае, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала; после чего область поиска разделяется на несколько зон, внутри каждой зоны выделяют несколько окон с уменьшенным масштабом, для каждой зоны вычисляется корреляция изображения шаблона и области поиска в полученном изображении посредством: расчета для каждой строчки и столбца L2 нормы, нормирования ее на длину вектора, получения соответствующих значений коэффициентов построчной и столбцовой корреляции, после чего вычисляется произведение построчной и столбцовой корреляций, затем для каждой из нескольких зон, вычисляется средний коэффициент корреляции по окнам с разными масштабам, при этом в случае, если для каждой зоны коэффициент выше установленного значения, осуществляется этап, в котором сравнение проводится для центра заданной области поиска и изображения шаблона, уменьшенного в несколько раз, по сравнению с оригинальным размером, для чего вычисляется скалярное произведение указанного уменьшенного изображения шаблона и изображения центра области поиска и нормализуется на L2 норму между первой и второй матрицами, в том случае, если коэффициент корреляции выше установленного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала.

В частном случае реализации заявленного способа (далее - в частном случае), при вычислении процента совпадения для каждой градации серого используется от 2 до 10 значений градации серого.

В частном случае, значение количества выбираемых от общего числа пикселей точек составляет 10-20%.

В частном случае, значение нормированного процента похожих точек во всей области поиска, при превышении которого делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала, составляет от 5 до 15%.

В частном случае, значение среднего коэффициента корреляции по окнам с разными масштабами, при превышении которого осуществляется этап, на котором определяется значение коэффициента корреляции между изображением центра заданной области поиска и изображением шаблона, уменьшенного в несколько раз, составляет от 70 до 90%.

В частном случае, значение коэффициента корреляции между изображением центра заданной области поиска и изображением шаблона, уменьшенного в несколько раз, при превышении которого делается вывод о наличии на кадре полученного изображения логотипа телеканала, составляет от 10 до 25%.

В частном случае, при определении среднего коэффициента корреляции по окнам с разными масштабами, область поиска делится на 3-10 зон, внутри каждой зоны выделяется от 2 до 5 окон, уменьшенных в масштабе от 1,15 до 2 раз.

В частном случае, при определении значение коэффициента корреляции между изображением центра заданной области поиска и изображением шаблона, шаблон уменьшается в масштабе от 2 до 3 раз.

В частных случаях, вывод об отсутствии на полученном изображении логотипа делается, если: полученный нормированный процент похожих точек во всей области поиска ниже установленного значения; или для каждой зоны полученный средний коэффициент ниже установленного значения; или коэффициент корреляции уменьшенных изображений ниже установленного значения.

В частном случае, если коэффициент корреляции по окнам с разными масштабами для каждой зоны ниже установленного значения или коэффициент корреляции уменьшенных изображений ниже установленного значения, считается что кадр не содержит логотипа, а на предыдущем этапе способа было допущено ложноположительное установление факта возможного наличия логотипа.

В заявленном способе, отсутствие необходимости обмена данными с внешними серверами, наряду с использованием на первом этапе способа упрощенного алгоритма сравнения изображения шаблона и изображения области поиска, при котором сравнение осуществляется по нескольким (а не по 256 как в известном уровне техники) значениям градации серого для некоторого количества выбранных точек (а не для всех 100% пикселей) ускоряет процесс, уменьшает время обнаружения логотипа телеканала и позволяет отказаться от использования вычислительного оборудования высокой мощности. При этом реализация указанного первого этапа способа наряду с проведением следующих этапов сравнения повышает достоверность и надежность заявленного способа, за счет возможности проведения покадрового анализа, исключения влияния помех, возможности выделения логотипа на неконтрастном фоне, исключения ложноположительного распознавания логотипа на этапах расчета коэффициента корреляции по окнам с разными масштабами и расчета коэффициента корреляции между изображением центра заданной области поиска и изображением шаблона, уменьшенного в несколько раз.

В заявленном способе полученное изображение может быть получено устройством получения (захвата) изображений (например, камерой, в том числе с ПЗС матрицей) с экрана (например, телевизора, компьютера) и передаваться для дальнейшей обработки. Кроме того, в заявленном способе полученное изображение может извлекаться из сигнала сети телевещания соответствующим декодером (ТВ тюнером и т.д.) и передаваться для дальнейшей обработки. Таким образом, заявленный способ может быть реализован на соответствующей аппаратной базе телевизионных приемников, компьютеров с соответствующим оборудованием, принимающим телевизионный сигнал, в том числе мобильных устройств.

В качестве примера рассмотрена возможность определения присутствия логотипа телеканала на полученном цветном кадре телевизионной трансляции с разрешением 720×576 пикселей. Время «обработки» одного кадра указанного размера составило менее 5 мс. Для реализации алгоритма использовался одноядерный процессор, для сравнения на изображениях шаблона и кадра трансляции, в области поиска, было выбрано случайным образом 1\9 точек от общего числа пикселей, для которых сравнивалось 3 значения градации серого: процент совпадения белых с белыми, черных с черными, серых с серыми. На втором этапе область была разделена на 5 зон, окна были уменьшены в масштабе 2, 2^3/4, 2^(0.5), 2^(1/4) раз. На третьем этапе способа изображение логотипа было уменьшено в 2^(5/4) раз.

В результате анализа результатов использования заявленного способа было установлено, что точность определения логотипа телеканала составляет не менее 73%, для набора данных видеосигнала полученных с 24 ч. трансляции 35 вариантов федеральных каналов с разных регионов РФ.

Изобретение относится к области цифровой обработки сигналов. Техническим результатом является повышение надежности и достоверности обнаружения логотипа телеканала в трансляции с уменьшением затрачиваемого времени и мощности используемого вычислительного оборудования. Способ обнаружения логотипа телеканала в телевизионной трансляции заключается в том, что создается и сохраняется изображение шаблона логотипа, осуществляется его поиск в заданной области поиска полученного изображения. Осуществляется предварительная обработка полученного изображения и изображения шаблона; если нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала. После чего область поиска разделяется на несколько зон, внутри каждой выделяют несколько окон с уменьшенным масштабом. Для каждой зоны вычисляется средний коэффициент корреляции по окнам с разными масштабами. Если для каждой зоны коэффициент выше установленного значения, то сравнение проводится для центра заданной области поиска и изображения шаблона, уменьшенного в несколько раз, по сравнению с оригинальным размером, в том случае, если коэффициент корреляции выше установленного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала. 9 з.п. ф-лы.

1. Способ обнаружения логотипа телеканала в телевизионной трансляции, в котором на основе анализа изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения посредством поэтапного сравнения шаблона и части кадра в области поиска, отличающийся тем, что осуществляется предварительная обработка полученного изображения и изображения шаблона, для чего цветность уменьшается до градаций серого, выделяются границы объектов, снижается контрастность однотонных участков; затем в заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных выбранных точек полученного изображения и соответствующих точек изображения шаблона вычисляется процент совпадения для каждой градации серого, после чего вычисляется произведение указанных процентов совпадения для каждой градации серого, в том случае, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала; после чего область поиска разделяется на несколько зон, внутри каждой зоны выделяют несколько окон с уменьшенным масштабом, для каждой зоны вычисляется корреляция изображения шаблона и области поиска в полученном изображении посредством: расчета для каждой строчки и столбца L2 нормы, нормирования ее на длину вектора, получения соответствующих значений коэффициентов построчной и столбцовой корреляции, после чего вычисляется произведение построчной и столбцовой корреляций, затем для каждой из нескольких зон вычисляется средний коэффициент корреляции по окнам с разными масштабами, при этом в случае, если для каждой зоны коэффициент выше установленного значения, осуществляется этап, в котором сравнение проводится для центра заданной области поиска и изображения шаблона, уменьшенного в несколько раз, по сравнению с оригинальным размером, для чего вычисляется скалярное произведение указанного уменьшенного изображения шаблона и изображения центра области поиска и нормализуется на L2 норму между первой и второй матрицами, в том случае, если коэффициент корреляции выше установленного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала.

2. Способ по п. 1 в котором при вычислении процента совпадения для каждой градации серого используется от 2 до 10 значений градации серого.

3. Способ по п. 1, в котором значение количества выбираемых от общего числа пикселей точек составляет 10-20%.

4. Способ по п. 1, в котором значение нормированного процента похожих точек во всей области поиска, при превышении которого делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала, составляет от 5 до 15%.

5. Способ по п. 1, в котором значение среднего коэффициента корреляции по окнам с разными масштабами, при превышении которого осуществляется этап, на котором определяется значение коэффициента корреляции между изображением центра заданной области поиска и изображением шаблона, уменьшенного в несколько раз, составляет от 70 до 90%.

6. Способ по п. 1, в котором значение коэффициента корреляции между изображением центра заданной области поиска и изображением шаблона, уменьшенного в несколько раз, при превышении которого делается вывод о наличии на кадре полученного изображения логотипа телеканала, составляет от 10 до 25%.

7. Способ по п. 1, в котором при определении среднего коэффициента корреляции по окнам с разными масштабами, область поиска делится на 3-10 зон, при этом внутри каждой зоны выделяется от 2 до 5 окон, уменьшенных в масштабе от 1,15 до 2 раз.

8. Способ по п. 1, в котором при определении значения коэффициента корреляции между изображением центра заданной области поиска и изображением шаблона, шаблон уменьшается в масштабе от 2 до 3 раз.

9. Способ одному из предыдущих пунктов, в котором вывод об отсутствии на полученном изображении логотипа делается, если: полученный нормированный процент похожих точек во всей области поиска ниже установленного значения, или коэффициент корреляции по окнам с разными масштабами для каждой зоны ниже установленного значения, или коэффициент корреляции уменьшенных изображений ниже установленного значения.

10. Способ по п. 9, в котором если коэффициент корреляции по окнам с разными масштабами для каждой зоны ниже установленного значения или коэффициент корреляции уменьшенных изображений ниже установленного значения, считается, что кадр не содержит логотипа, а на предыдущем этапе способа было допущено ложноположительное установление факта возможного наличия логотипа.