СПОСОБ ОБНАРУЖЕНИЯ ЛОГОТИПА ТЕЛЕКАНАЛА В ТЕЛЕВИЗИОННОЙ ТРАНСЛЯЦИИ Российский патент 2022 года по МПК G06V10/75 

Изобретение относится к области цифровой обработки сигналов, а именно к средствам машинного (компьютерного) распознавания изображения, реализующим алгоритм сравнения полученного изображения с соответствующим шаблоном (паттерном).

Из уровня техники известны способы обнаружения логотипа телеканала в телевизионной трансляции, в которых осуществляют преобразование полученного телевизионного изображения и осуществляют его сравнение с соответствующим шаблоном (А. Воронов «Распознавание телевизионной рекламы» 09.09.2010 https://www.compression.ru/video/seminar/slides/2008_tv_commercial_detection.pdf).

В указанном источнике один из рассмотренных подходов обнаружения логотипа телеканала в телевизионной трансляции основан на выявлении в полученном изображении области со стабильными границами. Выявление для заданной последовательности кадров области со стабильными границами свидетельствует о присутствии в полученном изображении логотипа телеканала.

Данный способ требует для реализации значительного количества времени (от десятков секунд до нескольких минут) вследствие необходимости анализа большой последовательности кадров. Достоверность способа напрямую зависит от количества проанализированных кадров и не подходит для мгновенного или покадрового определения присутствия логотипа в полученном изображении. Вследствие необходимости реализации сложных алгоритмов вычисления и анализа большого количества информации, необходимым является наличие больших вычислительных мощностей. Кроме того, указанный способ не обеспечивает достаточной надежности и достоверности обнаружения логотипа телеканала, поскольку он основан на косвенном анализе (выявление области со стабильными границами), в нем недостаточно исключается влияние помех и фона, не учитывается область возможного нахождения логотипа что может привести к не распознаванию логотипа или к ложному распознаванию.

Другой подход, рассмотренный в упомянутом источнике информации, предусматривает, что для обнаружения логотипа телеканала в телевизионной трансляции, на основе последовательности кадров создается шаблон логотипа и осуществляется его поиск по краям (углам) полученного изображения. Алгоритм сравнения полученного изображения с соответствующим шаблоном основан на определении количества пикселей полученного изображения, совпавших с пикселями шаблона. Порог наличия логотипа в кадре может быть получен на основании соответствующих гистограмм распределения.

Для осуществления способа, вследствие необходимости реализации сложных алгоритмов вычисления, необходимым является наличие больших вычислительных мощностей. Кроме того, указанный способ не обеспечивает достаточной надежности и достоверности обнаружения логотипа, поскольку в нем недостаточно исключается влияние помех, не учитывается возможность изменения фона, область поиска логотипа является ограниченной, отсутствует возможность выявления анимированного, полупрозрачного или иного трудноидентефицируемого логотипа телеканала.

Также из уровня техники известен способ обнаружения логотипа телеканала в телевизионной трансляции, раскрытый в RU 2615335 С2, 04.04.2017, в котором для обнаружения логотипа телеканала в телевизионной трансляции, на основе анализа кадров изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра в области поиска.

Указанный известный способ предполагает реализацию сложного вычислительного алгоритма обработки полученного изображения, заключающегося в преобразовании цветового пространства изображения телевизионного экрана в цветовое пространство, в котором разделяются яркость и цветность, и вычислении разности между значением яркости каждого пиксела в сохраненном шаблоне логотипе телеканала и значением яркости соответствующего пиксела в соответствующей области для определения совпадения между шаблоном и частью полученного изображения. Кроме того, в известном способе, в случае, если в результате определения совпадения между шаблоном и частью полученного изображения степень достоверности определения не соответствует установленной, предполагается информационное взаимодействие с удаленным сервером, что требует введение дополнительных вычислительных мощностей, каналов связи и увеличивает время обработки полученного изображения. Также известный способ не исключает ложноположительные случаи распознавания логотипа телеканала, в нем не учитывается влияние и возможность изменения помех и фона, что делает его недостаточно достоверным.

Наиболее близким аналогом к заявленному решению является способ обнаружения логотипа телеканала в телевизионной трансляции, раскрытый в патенте RU 2738025 С1, опубликованный 07.12.2020, который заключается в том, что создается и сохраняется изображение шаблона логотипа, осуществляется его поиск в заданной области поиска полученного изображения. Осуществляется предварительная обработка полученного изображения и изображения шаблона; если нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала. После чего область поиска разделяется на несколько зон, внутри каждой выделяют несколько окон с уменьшенным масштабом. Для каждой зоны вычисляется средний коэффициент корреляции по окнам с разными масштабами. Если для каждой зоны коэффициент выше установленного значения, то сравнение проводится для центра заданной области поиска и изображения шаблона, уменьшенного в несколько раз, по сравнению с оригинальным размером, в том случае, если коэффициент корреляции выше установленного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала.

Недостатком известного способа является то, что результат определения совпадения между шаблоном и частью полученного изображения степень достоверности определения не соответствует установленной. Это связано с тем, что известный способ не исключает ложноположительные случаи распознавания логотипа телеканала в случае каналов с высоким разрешением 1080 HD, которые имеют насыщенный линиями дизайн, так такие паттерны считаются найденными на кадре, что делает его недостаточно достоверным и снижает надежность определения логотипа.

Задачей и техническим результатом заявленного способа является повышение надежности и достоверности обнаружения логотипа телеканала в трансляции, возможность проведения покадрового анализа, исключение влияния помех, возможность распознавание логотипа для каналов с высоким разрешением Full HD (1080 HD), исключение ложноположительного распознавания логотипа

Указанное достигается за счет того, что в способе обнаружения логотипа телеканала в телевизионной трансляции, на основе анализа изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра в области поиска, осуществляется предварительная обработка полученного изображения и изображения шаблона, для чего цветность уменьшается до градаций серого, выделяются границы объектов, снижается контрастность однотонных участков; затем в заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных выбранных точек полученного изображения и соответствующих точек изображения шаблона вычисляется процент совпадения для каждой градации серого, после чего вычисляется произведение указанных процентов совпадения для каждой градации серого, в том случае, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала; после чего область поиска разделяется на несколько зон, внутри каждой зоны выделяют несколько окон с уменьшенным масштабом, для каждой зоны вычисляется корреляция изображения шаблона и области поиска в полученном изображении посредством: расчета для каждой строчки и столбца L2 нормы, нормирования ее на длину вектора, получения соответствующих значений коэффициентов построчной и столбцовой корреляции, после чего вычисляется произведение построчной и столбцовой корреляций, затем для каждой из нескольких зон, вычисляется средний коэффициент корреляции по окнам с разными масштабам, при этом в случае, если для каждой зоны коэффициент выше установленного значения, осуществляется этап, в котором сравнение проводится для центра заданной области поиска и изображения шаблона, уменьшенного в несколько раз, по сравнению с оригинальным размером, для чего вычисляется скалярное произведение указанного уменьшенного изображения шаблона и изображения центра области поиска и нормализуется на L2 норму между первой и второй матрицами, в том случае, если коэффициент корреляции выше установленного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала, при этом формируют дополнительные области поиска - область поиска, смещенную относительно заданной области поиска на ширину шаблона логотипа в сторону середины экрана (вторая область поиска), и область поиска, увеличенную относительно заданной области поиска на 4 пикселя в каждую сторону (третья область поиска), для каждой из сформированных областей поиска повторяются все вышеперечисленные операции по обнаружению логотипа телеканала в телевизионной трансляции.

В частном случае, при обнаружении логотипа телеканала в заданной области поиска и в третьей области поиска, делается вывод об обнаружении логотипа телеканала в заданной области поиска.

В частном случае формируются данные, полученные в результате анализа изображения шаблона логотипа в заданной области поиска и во второй области поиска, для массива от 9000 до 10000 кадров.

В частном случае вычисляется среднее для заданной области поиска сред. 1 и среднее второй области поиска сред.2.

При этом вывод об отсутствии на кадре изображения логотипа телеканала делается при условии сред.2/сред.1 < 0,7.

В частном случае, если набор вышеуказанных условий не выдает отрицательного ответа об отсутствии логотипа телеканала, то запускается процесс сравнения заданной и третьей областей поиска для точного определения логотипа на кадре и делается окончательный вывод об обнаружении логотипа телеканала в первой области поиска.

Сущность изобретения

При анализе реализации способа-прототипа было установлено, что на некоторых каналах точность детекции существенно снижалась. Подробное изучение позволило выяснить, что существуют сочетания паттернов и содержимого трансляции, для которых значение суммарной достоверности недостаточно для того, чтобы сделать вывод о наличии на кадре полученного изображения логотипа телеканала. Ложное срабатывание было обусловлено тем, что некоторые логотипы, чаще всего для каналов с высоким разрешением, например, таким как Full HD (1080 HD), имеют настолько насыщенный линиями дизайн, что срабатывают в любых частях кадра трансляции, даже при отсутствии действительного логотипа на кадре. При этом алгоритм поиска по случайному набору точек по способу-прототипу дает положительное значение, поскольку считает такие паттерны найденными на кадре.

Таким образом, для повышения точности и достоверности заявленного способа обнаружения логотипа телеканала в телевизионной трансляции было предложено выделить три отличающиеся области поиска:

- заданная область поиска, которая является обычной областью поиска, например, такой как в прототипе,

- вторая область поиска является областью, в которой логотип телеканала отсутствует. Указанная область смещена относительно первой области поиска на ширину шаблона логотипа в сторону середины экрана,

- третья область поиска является областью, охват которой увеличен относительно первой области поиска на 4 пикселя в каждую сторону.

В процессе реализации изобретения на основе анализа изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск как в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра, так и в каждой из вышеуказанных областей поиска - второй области поиска и третьей области поиска. Далее для каждого из этих трех областей поиска осуществляется предварительная обработка полученного изображения и изображения шаблона по известному способу-прототипу (известный патент RU 2738025 С1 приведен в полном объеме). В частности цветность уменьшается до градаций серого, выделяются границы объектов, снижается контрастность однотонных участков; затем в заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных выбранных точек полученного изображения и соответствующих точек изображения шаблона вычисляется процент совпадения для каждой градации серого, после чего вычисляется произведение указанных процентов совпадения для каждой градации серого, в том случае, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала; после чего область поиска разделяется на несколько зон, внутри каждой зоны выделяют несколько окон с уменьшенным масштабом, для каждой зоны вычисляется корреляция изображения шаблона и области поиска в полученном изображении посредством: расчета для каждой строчки и столбца L2 нормы, нормирования ее на длину вектора, получения соответствующих значений коэффициентов построчной и столбцовой корреляции, после чего вычисляется произведение построчной и столбцовой корреляций, затем для каждой из нескольких зон, вычисляется средний коэффициент корреляции по окнам с разными масштабам, при этом в случае, если для каждой зоны коэффициент выше установленного значения, осуществляется этап, в котором сравнение проводится для центра заданной области поиска и изображения шаблона, уменьшенного в несколько раз, по сравнению с оригинальным размером, для чего вычисляется скалярное произведение указанного уменьшенного изображения шаблона и изображения центра области поиска и нормализуется на L2 норму между первой и второй матрицами, в том случае, если коэффициент корреляции выше установленного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала.

Для уменьшения количества пропусков вводится дополнительное условие, при котором в случае обнаружения логотипа телеканала в заданной и третьей областях поиска делается вывод об обнаружении логотипа телеканала в заданной области поиска. Это условие обусловлено причиной, что некоторые логотипы заполняют почти всю площадь изображения шаблона и лучше находятся в процессе обнаружения в случае, если добавляют небольшую рамку вокруг шаблона логотипа. Этот метод позволяет выявить изображение в случае наличия помех и шумов, поскольку вероятность выявления логотипа на двух областях разного размера выше, чем на одной.

Формируются данные, полученные в результате анализа поиска изображения шаблона логотипа в заданной области поиска и второй области поиска, для массива от 9000 до 10000 кадров. Вычисляется среднее для каждой области: среднее заданной области поиска (далее сред.1) и среднее второй области поиска (далее сред.2).

В случае если количество ложных срабатываний во второй области поиска (области поиска, где срабатываний быть не должно ввиду однозначного отсутствия шаблона изображения логотипа по условию расположения этой области поиска) соотносится с количеством срабатываний в заданной области поиска, которая является исходной в отношении сред.2/сред.1 < 0,7, при условии что логотип шаблона обнаружен во второй области поиска (области поиска, где логотипа однозначно быть не может), то считается, что это ложное срабатывание и делается вывод об отсутствии на кадре изображения логотипа телеканала.

В случае если набор вышеуказанных условий не выдает отрицательного ответа об отсутствии логотипа телеканала, то запускается процесс сравнения заданной и третьей областей поиска для точного определения логотипа на кадре и делается окончательный вывод об обнаружении логотипа телеканала в заданной области поиска.

В заявленном способе реализация алгоритма сравнения изображения шаблона и изображения области поиска по случайному набору точек для заданного, второго и третьего областей поиска повышает достоверность и надежность заявленного способа, за счет возможности проведения покадрового анализа, исключения влияния помех, возможности выделения логотипа на неконтрастном фоне, а также распознавание логотипа для каналов с высоким разрешением, в том числе 1080 HD, исключения ложноположительного распознавания логотипа.

В заявленном способе полученное изображение может быть получено устройством получения (захвата) изображений (например, камерой, в том числе с ПЗС матрицей) с экрана (например, телевизора, компьютера) и передаваться для дальнейшей обработки. Кроме того, в заявленном способе полученное изображение может извлекаться из сигнала сети телевещания соответствующим декодером (ТВ тюнером и т.д.) и передаваться для дальнейшей обработки. Таким образом, заявленный способ может быть реализован на соответствующей аппаратной базе телевизионных приемников, компьютеров с соответствующим оборудованием, принимающим телевизионный сигнал, в том числе мобильных устройств.

В качестве примера рассмотрена возможность определения присутствия логотипа телеканала на полученном цветном кадре телевизионной трансляции с разрешением 1920×1080 пикселей. Время «обработки» одного кадра указанного размера составило менее 5 мс. Для реализации алгоритма использовался одноядерный процессор. Предварительно формируется основной шаблон для области поиска и дополнительный шаблон для области поиска 3 который на 4 пикселя больше по каждой стороне, при этом новые пиксели заполняются те ми же значениями что и их соседи. Перед сравнением изображения шаблона и кадра трансляции, в двух областях собирается статистика из 9000 ответов алгоритма поиска. При этом в каждой из областей поиска повторяется следующая последовательность действий. Выбирается случайным образом 1\9 точек от общего числа пикселей, для которых сравнивалось 3 значения градации серого: процент совпадения белых с белыми, черных с черными, серых с серыми. На втором этапе каждая область была разделена на 5 зон, окна были уменьшены в масштабе 2, 2^∧3/4, 2^∧(0.5), 2^∧(1/4) раз. На третьем этапе способа изображение логотипа было уменьшено в 2^∧(5/4) раз. Вычисленные коэффициенты корреляци для всех зон вместе с дополнительной L2 нормой сравниваются с пороговыми значениями для каждой области поиска (изображения шаблона и заданной области поиска при этом конвертировались в изображения 20×20 пикселей). Были экспериментально установлены допустимые границы L2 нормы, диапазонов значений средней яркости и ее среднеквадратического отклонения, каждому диапазону значений было приведено значение достоверности алгоритма. В зависимости от результата сравнения с каждым из диапазонов, суммарная уверенность алгоритма в наличии логотипа на полученном изображении увеличивалась или уменьшалась на соответствующие значения. При суммировании уверенности, после проверки дополнительных параметров, полученное значение сравнивалось с порогом от 2 до 3, и ответ запоминался в оперативной памяти. После сбора статистики, вышеуказанные действия начинают повторяться для трех областей поиска. При этом статистика ответов для заданной и второй зоны поиска обновляется путем переписывания самых старых значений, таким образом число элементов массива неизменно. Если средние число сработок согласно статистике для заданной и второй зоны поиска находится в отношении сред.2/сред.1 < 0,7, при условии что логотип шаблона обнаружен во второй области поиска (области поиска, где логотипа однозначно быть не может), то считается, что это ложное срабатывание и делается вывод об отсутствии на кадре изображения логотипа телеканала. В случае если набор вышеуказанных условий не выдает отрицательного ответа об отсутствии логотипа телеканала, то при наличии положительного ответа в заданной или третьей областей поиска делается окончательный вывод об обнаружении логотипа телеканала в заданной области поиска.

В результате анализа результатов использования заявленного способа было установлено, что точность определения логотипа телеканала составляет не менее 97%, для набора данных видеосигнала полученных с 24 ч. трансляции 100 логотипов телеканалов и таким образом является более надежной и достоверной.

Изобретение относится к области цифровой обработки сигналов, а именно к средствам компьютерного распознавания изображения. Технический результат заключается в повышении надежности и достоверности обнаружения логотипа телеканала в трансляции. Способ обнаружения логотипа телеканала в телевизионной трансляции, в котором на основе анализа изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра в области поиска, осуществляется предварительная обработка полученного изображения и изображения шаблона, для чего цветность уменьшается до градаций серого, выделяются границы объектов, снижается контрастность однотонных участков, а затем в заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных выбранных точек полученного изображения и соответствующих точек изображения шаблона вычисляется процент совпадения для каждой градации серого, в том случае, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала. 5 з.п. ф-лы.

1. Способ обнаружения логотипа телеканала в телевизионной трансляции, в котором на основе анализа изображения создается и сохраняется в памяти изображение шаблона логотипа и осуществляется его поиск в заданной области поиска полученного изображения, посредством поэтапного сравнения шаблона и части кадра в области поиска, осуществляется предварительная обработка полученного изображения и изображения шаблона, для чего цветность уменьшается до градаций серого, выделяются границы объектов, снижается контрастность однотонных участков; затем в заданной области поиска выбирается заданное от общего числа пикселей количество точек, для указанных выбранных точек полученного изображения и соответствующих точек изображения шаблона вычисляется процент совпадения для каждой градации серого, после чего вычисляется произведение указанных процентов совпадения для каждой градации серого, в том случае, если полученный нормированный процент похожих точек во всей области поиска больше заданного значения, делается вывод о возможном наличии на кадре полученного изображения логотипа телеканала; после чего область поиска разделяется на несколько зон, внутри каждой зоны выделяют несколько окон с уменьшенным масштабом, для каждой зоны вычисляется корреляция изображения шаблона и области поиска в полученном изображении посредством: расчета для каждой строчки и столбца L2 нормы, нормирования ее на длину вектора, получения соответствующих значений коэффициентов построчной и столбцовой корреляции, после чего вычисляется произведение построчной и столбцовой корреляций, затем для каждой из нескольких зон, вычисляется средний коэффициент корреляции по окнам с разными масштабам, при этом в случае, если для каждой зоны коэффициент выше установленного значения, осуществляется этап, в котором сравнение проводится для центра заданной области поиска и изображения шаблона, уменьшенного в несколько раз, по сравнению с оригинальным размером, для чего вычисляется скалярное произведение указанного уменьшенного изображения шаблона и изображения центра области поиска и нормализуется на L2 норму между первой и второй матрицами, в том случае, если коэффициент корреляции выше установленного значения, делается вывод о наличии на кадре полученного изображения логотипа телеканала, отличающийся тем, что формируют дополнительные области поиска - область поиска, смещенную относительно заданной области поиска на ширину шаблона логотипа в сторону середины экрана - вторая область поиска, и область поиска, увеличенную относительно заданной области поиска на 4 пикселя в каждую сторону - третья область поиска, для каждой из сформированных областей поиска повторяются все вышеперечисленные операции по обнаружению логотипа телеканала в телевизионной трансляции.

2. Способ по п. 1, отличающийся тем, что в случае обнаружения логотипа телеканала в заданной области поиска и в третьей области поиска, делается вывод об обнаружении логотипа телеканала в заданной области поиска.

3. Способ по п. 1, отличающийся тем, что данные, полученные в результате анализа изображения шаблона логотипа в заданной области поиска и во второй области поиска, формируются для массива от 9000 до 10000 кадров.

4. Способ по п. 3, отличающийся тем, что вычисляется среднее для заданной области поиска сред.1 и среднее второй области поиска сред.2.

5. Способ по п. 4, отличающийся тем, что вывод об отсутствии на кадре изображения логотипа телеканала делается при условии сред.2/сред. 1 < 0,7.

6. Способ по п. 5, отличающийся тем, что если набор вышеуказанных условий не выдает отрицательного ответа об отсутствии логотипа телеканала, то запускается процесс сравнения заданной и третьей областей поиска для точного определения логотипа на кадре и делается окончательный вывод об обнаружении логотипа телеканала в первой области поиска.