СПОСОБ И УСТРОЙСТВО ДЛЯ ОБНАРУЖЕНИЯ ИГРОВЫХ ЭПИЗОДОВ В ПОЛЕВЫХ ВИДАХ СПОРТА В ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯХ Российский патент 2014 года по МПК H04N5/66 

Настоящее изобретение относится к технологиям обработки видеоизображений, а именно к автоматизации процесса классификации видеоконтента по жанру и содержанию в реальном режиме времени с целью оптимального подбора параметров устройства отображения.

Из уровня техники известны различные подходы к автоматическому определению жанра видеопоследовательности. Теоретические аспекты разработок в этой области изложены в ряде публикаций, таких как N.Watcharapinchai, S.Aramvith, S.Siddhichai, S.Marukatat, S., A discriminant approach to sports video classification, proc. of the ISCIT '07. International Symposium on Communications and Information Technologies, pp.557-561, 2007 [1], J. Park, S.Han, Y. An, Heuristic Features for Color Correlogram for Image Retrieval, proc. of the ICCSA'08. International Conference on Computational Sciences and Its Applications, pp.9-13, 2008 [2], Automatic feature construction and a simple rule induction algorithm for skin detection, G. Gomez, E. Morales Proceedings of Workshop on Machine Learning in Computer Vision, 2002, pp.31-38 [3].

Практические разработки в области по автоматическому определению жанра видеопоследовательности отражены в ряде патентных документов.

Так, в патенте США 7831112 [4] предложен способ разделения видеопотока на временные сегменты в зависимости от возгласов публики, присутствующей при спортивном событии. Это изобретение относится к определению жанра мультимедийного контента и состоит из детектора признаков, вычисляющего предопределенные признаки мультимедийного контента, и блока классификации.

В патентной заявке США 20070113248 [5] описаны способ и устройство для определения жанра мультимедийного контента. Устройство включает в себя детектор признаков и детектор жанра, при этом для решения задачи используются как признаки, выделяемые на основе только аудиопотока, так и признаки, выделяемые на основе видеопотока.

Наиболее близким к заявленному изобретению является решение, известное из патентной заявки США 20080186413 [6] и описывающее конвейер обработки видеоизображений в телевизионном приемнике, настраиваемый в зависимости от жанра просматриваемой передачи. Авторы предлагают использовать различные установки контрастности, уровня усиления деталей, пространственно-временного шумоподавления, гамма-коррекции, овердрайва и задней подсветки в зависимости от жанра демонстрируемого видеоизображения. В качестве примеров в решении-прототипе рассмотрены следующие жанры: спорт, музыка, студийные передачи, кино, телефильмы, мультфильмы. Блок классификации в прототипе [6] состоит из генератора гистограмм, детектора максимальной градации серого, детектора средней градации серого, детектора минимальной градации серого, а также детектора средней яркости.

При выборе оптимального подхода к решению проблемы автоматического определения жанра видеоконтента необходимо принять во внимание следующие особенности данной проблемы.

В случае если определение жанра производится исключительно на основании признаков, извлекаемых из аудиопотока, решение задачи не может быть получено с точностью до одного кадра, что является важным требованием при использовании алгоритма детектирования жанра для управления установками устройства отображения.

В случае быстрого движения внутри видеокадра гистограмма может меняться настолько резко, что для соседних кадров одной и той же видеопоследовательности могут быть получены различные результаты классификации.

Видеоизображения обычно подвергаются различным видам предварительной обработки, таким, как улучшение контрастности, которые могут изменить гистограмму, что может повлечь получение различных результатов классификации для одних и тех же кадров видеопоследовательности, подверженных различным видам предварительной обработки. Видеоизображения могут быть обработаны алгоритмами сжатия различного типа и с различными установками качества, что также может существенно повлиять на характеристики изображения.

Методы детектирования жанра, основанные на динамических признаках (таких, как межкадровая вариация яркости) или на статистическом анализе низкоуровневых признаков внутри сцены, позволяют получить результат классификации только после получения последнего кадра этой сцены. В случае адаптивного управления установками устройства изображения такой тип алгоритма вызвал бы большую (и зависящую от конкретной сцены изображения) задержку, что неприемлемо для приложения в телевизионном приемнике.

Таким образом, методы определения жанра, использующие признаки, извлекаемые из аудиопотока, не могут быть использованы в приложениях для управления коллекциями мультимедийного контента, в которых аудио- и видеоданные хранятся отдельно.

Методы искусственного интеллекта требуют переобучения алгоритма при появлении новых ошибочно классифицированных образцов и добавлении их в обучающую выборку.

Задача, на решение которой направлено заявляемое изобретение, состоит в разработке усовершенствованного способа обнаружении эпизодов, связанных с демонстрацией игровых видов спорта в видеопоследовательности в реальном времени с целью автоматической подстройки настроек изображения в телевизионном приемнике. При этом такой способ должен быть свободен от основных недостатков, присущих известным из уровня техники решениям.

Технический результат достигается за счет разработки способа, обнаружения игровых эпизодов в полевых видах спорта в реальном времени, заключающегося в выполнении следующих операций:

- вычисляют яркость и насыщенность каждого пикселя кадра, описываемого значениями в красном, зеленом и синем цветовых каналах;

- вычисляют абсолютную величину градиента яркости для каждого пикселя кадра;

- выполняют классификацию по цвету каждого пикселя кадра;

- вычисляют статистику по результатам классификации по цветам для всего кадра;

- вычисляют статистику по результатам классификации по цветам для зеленых областей кадра;

- определяют, является ли данный кадр игровым эпизодом в полевых видах спорта на основании исключительно характеристик текущего кадра;

- определяют, принадлежит ли текущий кадр той же сцене, что и предыдущий кадр;

- используют в качестве уточненного результата детектирования результат детектирования, полученный для предыдущего кадра, в случае, если текущий кадр принадлежит той же самой сцене, что и предыдущий кадр видеопоследовательности; или

- используют в качестве уточненного результата детектирования результат детектирования, полученный для текущего кадра на основании исключительно характеристик текущего кадра, в случае, если текущий кадр не принадлежит той же самой сцене, что и предыдущий кадр видеопоследовательности.

Заявляемый способ позволяет получить результат классификации для каждого кадра видеопоследовательности, при этом результат постоянен на протяжении всей сцены. Способ работает в реальном времени (время задержки соответствует времени приема одного кадра и составляет от 40 до 67 мс). Способ устойчив как к быстрому движению в кадре, так и к предварительной обработке (например, гамма-коррекции или локальному улучшению контраста). Помимо этого, классификатор представляет собой набор простых правил, понимаемых человеком, поэтому при появлении ошибочно классифицированных образцов не требуется переобучения существующего классификатора, а достаточно добавления нового правила. Классификатор является суперпозицией одномерных и двумерных пороговых функций, линейного классификатора и логических функций, и использует очень простые статистические признаки, позволяющие аппаратную реализацию при помощи блоков сдвига, сумматоров и компараторов.

По сравнению с существующими методами заявляемое изобретение имеет шесть основных отличий:

- детектирование производится для каждого кадра видеопоследовательности в отдельности, но при этом сохраняется временная гладкость результата детектирования в пределах одной сцены;

- детектирование основано на признаках, эмпирически понимаемых человеком;

- предложены четыре новых типа детекторов цвета, определяющих цвета сходным с человеческим восприятием образом: желтый, зеленый, белый, яркий и насыщенный цвет;

- предложены четыре типа низкоуровневых статистических признака, используемых при классификации: среднее значение градиента яркости в зеленых областях, компактность гистограммы зеленого цветового канала в зеленых областях, средняя яркость в зеленых областях, среднее значение синего цветового канала в зеленых областях;

- классификатор имеет форму направленного ациклического графа, в узлах которого расположены одномерные и двумерные пороговые функции, линейные классификаторы и логические функции;

- предложен новый тип детектора смены сцены, основанный на алгоритме сегментации k-средних.

Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими чертежами.

Фиг.1. Граф-схема способа обнаружения игровых эпизодов.

Фиг.2. Примеры игровых эпизодов в полевых видах спорта с различной долей зеленых пикселей.

Фиг.3. Насыщенность зеленых пикселей как признак полевой игры.

Фиг.4. Изображение с Фиг.3, вид 3.3, в котором средние значения красного, зеленого и синего цветовых каналов в зеленых областях установлены равными средним значениям этих величин в зеленых областях на Фиг.3, вид 3.4.

Фиг.5. Изображение с Фиг.3, вид 3.4, в котором средние значение синего цветового канала в зеленых областях установлено равным среднему значению этой величины в зеленых областях на Фиг.3, вид 3.3.

Фиг.6. Гистограмма зеленого цветового канала в зеленых областях изображения для изображений на Фиг.3, вид 3.3, и Фиг.3, вид 3.4; градиент яркости в зеленых областях для изображений на Фиг.3, вид 3.3 и Фиг.3, вид 3.4.

Фиг.7. Эпизод полевой игры с нулевой пропорцией зеленых пикселей.

Фиг.8. Дополнительная классификация по пропорции зеленых пикселей и насыщенности зеленых пикселей.

Фиг.9. Сцена в помещении, не являющаяся игровым эпизодом полевой игры: вид 9.1 - пример кадра, вид 9.2 - график признаков и результат классификации для сцены, состоящей из 300 последовательных кадров.

Фиг.10. Сцена на улице, не являющаяся игровым эпизодом полевой игры: вид 10.1 - пример кадра, вид 10.2 - график признаков и результат классификации для сцены, состоящей из 350 последовательных кадров

Фиг.11. Сцена, не являющаяся игровым эпизодом полевой игры, содержащая большую пропорцию зеленых пикселей: вид 11.1- пример кадра, вид 11.2 - график признаков и результат классификации для сцены, состоящей из 300 последовательных кадров.

Фиг.12. Игровой эпизод полевой игры, содержащий дальний план: вид 12.1 - пример кадра, вид 12.2 - график признаков и результат классификации для сцены, состоящей из 350 последовательных кадров.

Фиг.13. Игровой эпизод полевой игры, содержащий крупный план; вид 13.1 - пример кадра, вид 13.2 - график признаков и результат классификации для сцены, состоящей из 350 последовательных кадров.

Фиг.14. Игровые эпизоды, чередующиеся с неигровыми эпизодами: вид 14.1 пример кадра, не являющегося игровым эпизодом, вид 14.2 - график признаков и результат классификации для видеопоследовательности, состоящей из 850 последовательных кадров (3 сцены).

Фиг.15. Блок-схема детектора игровых эпизодов полевых игр.

Фиг.16. Блок-схема детектора признаков низкого уровня.

Фиг.17. Способ реализации классификатора пикселей по цвету.

Фиг.18. Область, соответствующая белому цвету в цветовом пространстве RGB.

Фиг.19. Пример результатов детектирования пикселей белого цвета.

Фиг.20. Область, соответствующая оттенкам кожи в цветовом пространстве RGB.

Фиг.21. Область, соответствующая желтому цвету в цветовом пространстве RGB.

Фиг.22. Пример результатов детектирования пикселей желтого цвета.

Фиг.23. Область, соответствующая зеленому цвету в цветовом пространстве RGB.

Фиг.24. Пример результатов детектирования пикселей зеленого цвета.

Фиг.25. Мера компактности гистограммы.

Фиг.26. Блок-схема анализатора признаков.

Фиг.27. Блок-схема детектора смены сцены.

Фиг.28. Блок-схема динамического детектора игровых эпизодов.

Фиг.29. Возможное применение в области телевидения.

Способ детектирования игровых эпизодов полевых видов спорта состоит из следующих шагов, показанных на Фиг.1:

- для каждого пикселя, описываемого значениями в красном, зеленом и синем цветовых каналов, вычисляют яркость и насыщенность (этап 101);

- вычисляют абсолютную величину градиента яркости (этап 102)

- классифицируют каждый пиксель по цвету, а именно: (этап 103)

- является ли пиксель белым?

- является ли пиксель ярким и насыщенным?

- является ли пиксель желтым?

- является ли пиксель зеленым?

- является ли цвет пикселя оттенком кожи?

- вычисляют статистику по цветам для всего кадра (этап 104);

- пропорция белых пикселей в кадре

- пропорция ярких и насыщенных пикселей в кадре

- пропорция зеленых пикселей в кадре

- пропорция пикселей оттенка кожи в кадре

- вычисляют статистику по цветам для зеленых областей (этап 105); а именно, для всех пикселей, которые на этапе 103 были классифицированы как зеленые, вычисляют следующие характеристики:

- средняя яркость

- средняя насыщенность

- среднее значение синего цветового канала

- среднее значение абсолютной величины градиента яркости

- для пикселей, классифицированных как зеленые, вычисляют гистограмму зеленого цветового канала (этап 106)

- для определения того, является ли текущий кадр игровым эпизодом полевой игры, используют следующие правила (этап 107):

- если пропорция зеленых пикселей равна нулю или очень низка, то результат детектирования является отрицательным;

- если средняя яркость зеленых пикселей очень низка, то результат детектирования является отрицательным;

- если средняя насыщенность зеленых пикселей очень низка, то результат детектирования является отрицательным;

- если средняя насыщенность зеленых пикселей низка и средняя яркость зеленых пикселей низка, то результат детектирования является отрицательным;

- если средняя насыщенность зеленых пикселей средняя и гистограмма зеленого канала в зеленых областях широка, то результат детектирования является отрицательным;

- если средняя насыщенность зеленых пикселей очень велика и гистограмма зеленого канала в зеленых областях очень узка, то результат детектирования является отрицательным;

- если средняя насыщенность зеленых пикселей низка или велика и среднее значение абсолютной величины градиента яркости в зеленых областях очень низко, то результат детектирования является отрицательным;

- если пропорция зеленых пикселей средняя или небольшая и пропорция ярких и насыщенных пикселей средняя или высокая, а количество пикселей тона человеческой кожи выше нуля и является малым или средним, то результат детектирования является положительным;

- если пропорция зеленых пикселей велика и пропорция ярких и насыщенных пикселей мала, но больше нуля, то результат детектирования является положительным;

- для определения того, принадлежит ли текущий кадр той же сцене, что и предыдущий, производят детектирование смены сцены (этап 108),

- в случае если смена сцены не произошла, то результат детектирования устанавливают равным результату детектирования для предыдущего кадра (этап 109).

Далее поясняются детали заявляемого способа.

Принцип детектирования игровых эпизодов полевых игр основан на том наблюдении, что по сравнению с другими видами сцен пропорция зеленых пикселей в этих кадрах сравнительно велика.

Предложенный на основе способа детектор позволяет отличать игровые эпизоды даже в случае, если эта пропорция сильно варьируется (Фиг.2: вид 2.1 - 15%, вид 2.2 - 24%, вид 2.3 - 46%, вид 2.4 - 67%, вид 2.5 - 82%, вид 2.6 - 97%).

Предполагается, что обычно в игровых эпизодах полевых игр насыщенность зеленого цвета S_GR относительно высока (Фиг.3, вид 3.1): S_GR=93%), а в других типах сцен может быть ниже (Фиг.3, вид 3.2): S_GR=15%). Однако в некоторых случаях, в силу различных условий освещения сцены или особенностей использованного алгоритма сжатия, насыщенность зеленых пикселей может быть довольно низка (Фиг.3, вид 3.3);S_GR=31%). Причем иногда насыщенность зеленых пикселей может быть даже ниже, чем у сцен другого типа (Фиг.3, вид 3.4): S_GR=35%).

Человек легко заметит разницу между оттенками зеленого в этих двух изображениях, в чем легко можно убедиться, нормализовав эти два изображения по средним значениям синего, зеленого и красного каналов в зеленых областях (Фиг.4). При этом видно, что синий цветовой компонент играет ключевую роль и замена его средней величины на среднюю величину синего компонента в зеленых областях футбольного поля дает практически тот же цвет (Фиг.5). Таким образом, для того, чтобы отличить эти две сцены, имеет смысл использовать среднее значение синего канала в зеленых областях изображения. Среднее значение яркости имеет смысл использовать в настоящем изобретении в качестве классификационного признака с целью отличить очень темные сцены и классифицировать их как сцены, не являющиеся игровыми эпизодами, потому как спортивные соревнования обычно проводятся в хорошо освещенных местах.

Фиг.6 (виды 6.1 и 6.2) показывает гистограммы зеленого цветового канала для зеленых областей на изображениях с Фиг.3 (виды 3.3 и 3.4 соответственно). Эти рисунки показывают, что в случае, если гистограмма более компактна, то более вероятно, что кадр является игровым эпизодом, чем когда эта гистограмма размазана. В качестве меры компактности предлагается использовать пропорцию пикселей вблизи максимума гистограммы. В случае, если эта гистограмма размазана, можно считать, что кадр не является игровым эпизодом.

Фиг.6 (виды 6.3 и 6.4) показывает градиент канала яркости в зеленых областях для кадров на Фиг.3 (виды 3.3 и 3.4 соответственно). Видно, что очень низкие значения градиента могут соответствовать кадрам, не являющимся игровыми эпизодами.

Если средняя яркость зеленых пикселей очень низка, то можно сделать вывод о том, что кадр не является игровым эпизодом.

Очевидно, что в некоторых игровых эпизодах пропорция зеленых пикселей может быть нулевой (Фиг.7), но даже человек едва ли классифицирует такие кадры, не читая сопровождающего текста (который может и отсутствовать). Для кадров с нулевой пропорцией зеленых пикселей можно считать, что кадр не является игровым эпизодом.

Эффективный классификатор должен отдельно рассматривать кадры с различной пропорцией зеленых пикселей и различным их средним насыщением (Фиг.8). Кадры с очень низкой пропорцией зеленых пикселей и низкой насыщенностью зеленых пикселей классифицируются как не являющиеся игровым эпизодом.

В каждой клетке в таблице на Фиг.8 применяются дополнительные правила, в зависимости от ожидаемого вида сцены. В случае, если число зеленых пикселей очень велико, то предполагается, что представлен дальний вид. В случае, если количество ярких и насыщенных пикселей (которые могут соответствовать форме игроков) низкое или среднее, и количество белых пикселей невелико, но больше нуля, то кадр классифицируется как игровой эпизод.

В случае если количество зеленых пикселей малое или среднее, то предполагается наличие крупного плана. Если количество ярких и насыщенных пикселей среднее или большое, количество белых пикселей среднее, и количество пикселей тона человеческой кожи больше нуля и невелико или среднее, то кадр классифицируется как игровой эпизод.

В случае если не произошло смены сцены и предыдущий кадр был классифицирован как игровой эпизод, то текущий кадр также классифицируется как игровой эпизод.

Примеры кадров и графики наиболее важных признаков наряду с результатами классификации для игровых эпизодов, не игровых эпизодов и смешанных последовательностей кадров показаны на Фиг.9-14. При этом Фиг.9 показывает результаты для последовательности кадров, снятых в помещении и не являющихся игровым эпизодом. Фиг.10 показывает график признаков и результаты детектирования для последовательности кадров, снятых на улице и не являющихся игровым эпизодом. Фиг.11 показывает график признаков и результаты детектирования для последовательности кадров, не являющихся игровым эпизодом и содержащих большую пропорцию зеленых пикселей. Фиг.12 показывает график признаков и результаты детектирования для игрового эпизода, содержащего дальний план. Фиг.13 показывает график признаков и результаты детектирования для игрового эпизода, содержащего крупный план. Фиг.14 показывает график признаков и результаты детектирования для видеопоследовательности, состоящей из двух игровых эпизодов (как на Фиг.12 (вид 12.1), 13 (вид 13.1)), между которыми расположен один неигровой эпизод (как на Фиг.14 (вид 14.3)).

Блок-схема на Фиг.15 содержит структуру системы анализа видеоконтента. Входной видеопоток 1500 сохраняют в кадровом буфере 1501, из которого кадры, представленные в виде последовательностей пикселей в цветовом пространстве RGB, подаются на вычислитель 1503 низкоуровневых признаков и детектор 1505 смены сцены. Выход вычислителя 1503 низкоуровневых признаков соединен с входом анализатора 1504 признаков, который обрабатывает низкоуровневые признаки и делает предварительное заключение о том, относится ли текущий кадр к игровым эпизодам полевых видов спорта. Детектор 1505 смены сцены анализирует видеопоток и делает заключение о том, принадлежит ли текущий кадр к той же сцене, что и предыдущий. Выходы анализатора 1504 признаков и детектора 1505 смены сцены соединены со входами динамического детектора 1506 типа контента, который уточняет предварительное заключение анализатора признаков. В частности, динамический детектор типа контента распространяет решение, полученное для предыдущего кадра, в случае, если смены сцены не произошло.

Блок-схема вычислителя низкоуровневых признаков показана на Фиг.16. Последовательность 1600 пикселей в цветовом пространстве RGB подается на вход блока 1601, который вычисляет насыщенность 5 для каждого пикселя, и на вход блока 1602, который вычисляет яркость У для каждого пикселя, а также к первому входу классификатора 1603 цветов. Значение насыщенности пикселей из блока 1601 подается на второй вход классификатора 1603 цветов. Значение яркости из блока 1602 подается на третий вход классификатора 1603 цветов и на вход блока 1604 вычисления градиента. Выход классификатора 1603 цветов и выход блока 1604 вычисления градиента соединены с первым и вторым входами блока 1605 статистического анализа соответственно. Насыщенность пикселя S вычисляется в блоке 1601 для каждого пикселя в кадре на основании его величин в цветовых каналах R, G, и В по формуле $$S=\{\begin{array}{l}1-\frac{M0}{M1},M1<0\\ \mathrm{0,}иначе\end{array}$$

где М0 - минимальное из величин в цветовых каналах M0=MIN(R, G, B) а М1 - максимальное из величин в цветовых каналах M1=MAX(R, G, B).

Яркость пикселя Y вычисляется в блоке 1602 для каждого пикселя в кадре на основании его величин в цветовых каналах R, G, и В по формуле

$$Y=\frac{306R}{1024}+\frac{601G}{1024}+\frac{58B}{512}$$

Пример реализации классификатора 1603 цветов показан на Фиг.3. На три входа этого блока подаются величины в цветовых каналах R, G, и В (1701), насыщенность (1702) и яркость (1703). Детектор 1704 белых пикселей анализирует величины R, G и В для каждого пикселя и вычисляет логическую величину, означающую, что данный пиксель будет выглядеть для человека белым. Детектор 1705 ярких и насыщенных пикселей анализирует величины R, G и В для каждого пикселя и вычисляет логическую величину, означающую, что данный пиксель будет выглядеть для человека ярким и насыщенным. Детектор 1706 пикселей тона человеческой кожи анализирует величины R, G, и В для каждого пикселя и вычисляет логическую величину, означающую, что данный пиксель будет выглядеть для человека похожим по цвету на человеческую кожу. Детектор 1707 желтых пикселей анализирует величины R,G, и В для каждого пикселя наряду с его насыщенностью (1702) и яркостью (1703) и вычисляет логическую величину, означающую, что данный пиксель будет выглядеть для человека желтым. Детектор 1708 зеленых пикселей анализирует величины R, G и В для каждого пикселя наряду с его яркостью (1703) и результатом детектирования желтого пикселя, и вычисляет логическую величину, означающую, что данный пиксель будет выглядеть для человека зеленым. Мультиплексор 1709 объединяет выходы детектора 1704 белых пикселей, детектора 1705 ярких и насыщенных пикселей, детектора 1706 пикселей тона человеческой кожи и детектора 1708 зеленых пикселей для всех пикселей и представляет в виде четырех каналов.

Детектор белых пикселей вычисляет выражение W=S_RGB>384^M1-M0<30, где S_RGB - сумма величин в цветовых каналах S_RGB=R+G+B. B. Область, описываемая этой формулой в цветовом пространстве RGB, показана на Фиг.18. Примеры применения этого детектора показаны на Фиг.19. Детектор 1705 ярких и насыщенных пикселей вычисляет выражение B_S=М1>150&M1-М0≥М1/2. Детектор 1706 пикселей тона человеческой кожи вычисляет выражение S_k=(G≠0)⋀ $$B\le G+\frac{G}{2}\wedge S_{RGB}>\frac{267R}{2^7}\wedge B\le \frac{83\cdot S_{RGB}}{2^8}\wedge G\le \frac{83\cdot S_{RGB}}{2^8}$$ .

Область, описываемая этой формулой в цветовом пространстве RGB, показана на Фиг.20.

Детектор 1707 желтых пикселей вычисляет выражение Y_e=B<G⋀В<R⋀9·(М1_RG-М0_RG)<М0_RG-В⋀S>0.2⋀Y>110, где максимальное значение между величиной в зеленом канале G в красном канале R, а М0_RG - минимальное из этих двух чисел. Область, описываемая этой формулой в цветовом пространстве RGB, показана на Фиг.21. Примеры применения этого детектора показаны на Фиг.22.

Детектор 1708 зеленых пикселей вычисляет выражение $$G_r=G>M{1}_{RB}\wedge S_{RGB}>80\wedge (R+B<\frac{3}{2}G\vee R+B<255\vee R-B<35)\wedge Y>80\wedge Y_e$$ , где M1_RB - максимальное значение между величиной в красном канале R и синем канале В. Область, описываемая этой формулой в цветовом пространстве RGB, показана на Фиг.23. Сравнение результатов детектирования для простого детектора зеленых пикселей и предложенного детектора приведено на Фиг.24.

Блок 1604 вычисления градиента вычисляет производную по яркости D_Y, производя свертку канала яркости У с линейным ядром $$K_{grad}=[\begin{array}{ccccccc}0& 0& 0& 1& 0& 0& -1]\end{array}$$ .

Блок 1605 статистического анализа вычисляет для каждого кадра следующие низкоуровневые признаки: нормализованное число зеленых пикселей F₁, нормализованное число пикселей цвета человеческой кожи F₂, среднюю яркость всех пикселей F₃, среднюю величину модуля градиента для зеленых пикселей F₄, нормализованное число ярких и насыщенных пикселей F₅, среднюю насыщенность зеленых пикселей F₆, нормализованное число белых пикселей F₇, среднюю яркость зеленых пикселей F₈, среднюю величину синего канала для зеленых пикселей F₉, компактность гистограммы зеленого цветового канала для зеленых пикселей F₁₀.

Нормализованное число зеленых пикселей вычисляется согласно выражению $$F_1=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\delta \left(G_r\left(i,j\right)\right)}}{w\cdot h}$$ , где w - ширина кадра в пикселях, h - высота кадра в пикселях, i, j - координаты пикселя, а δ - функция, преобразующая логический тип в вещественный по формуле $$\delta \left(x\right)=\{\begin{array}{l}\mathrm{0,}\neg x\\ \mathrm{1,}x\end{array}$$ .

Нормализованное число пикселей цвета человеческой кожи вычисляется согласно выражению $$F_2=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\delta \left(S_k\left(i,j\right)\right)}}{w\cdot h}$$ .

Средняя яркость всех пикселей вычисляется согласно выражению $$F_3=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}Y\left(i,j\right)}}{w\cdot h}$$ .

Средняя величина модуля градиента для зеленых пикселей вычисляется согласно выражению $$F_4=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\left|D_y\left(i,j\right)\right|\cdot \delta \left(G_r\left(i,j\right)\right)}}{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\delta \left(G_r\left(i,j\right)\right)}}$$ .

Нормализованное число ярких и насыщенных пикселей вычисляется согласно выражению $$F_5=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\delta (B_s\left(i,j\right))}}{w\cdot h}$$ .

Средняя насыщенность зеленых пикселей вычисляется согласно выражению $$F_6=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}S\left(i,j\right)\cdot \delta \left(G_r\left(i,j\right)\right)}}{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\delta \left(G_r\left(i,j\right)\right)}}$$ .

Нормализованное число белых пикселей вычисляется согласно выражению $$F_7=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\delta (W\left(i,j\right))}}{w\cdot h}$$ .

Средняя яркость зеленых пикселей вычисляется согласно выражению $$F_8=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}Y(i,j)\cdot \delta (G_r\left(i,j\right))}}{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\delta (G_r\left(i,j\right))}}$$ .

Средняя величина синего канала для зеленых пикселей вычисляется согласно выражению $$F_9=\frac{{\displaystyle \sum _{i=1\dots w,j=1\dots h}B(i,j)\cdot \delta (G_r\left(i,j\right))}}{{\displaystyle \sum _{i=1\dots w,j=1\dots h}\delta (G_r\left(i,j\right))}}$$ .

Компактность гистограммы зеленого цветового канала для зеленых пикселей Е₁₀ вычисляется за следующие три шага:

1) Строится гистограмма Н_YGr для величин зеленого цветового канала G для пикселей, классифицированных по цвету как зеленые (Фиг.25);

2) Ширина гистограммы D вычисляется как разность между самым правым (MHY1) и самым левым (MHY0) ненулевыми элементами гистограммы;

3) Признак F₁₀ вычисляется как пропорция элементов гистограммы, лежащих на расстоянии не больше восьмой части ширины гистограммы от максимума гистограммы:

$$F_{10}=\frac{{\displaystyle \sum _{i=P_8-D/8}^{P_8+D/8}{H}_{YGr}(i)}}{{\displaystyle \sum _{i=0}^{255}{H}_{YGr}(i)}}$$ .

Выходом блока 1605 статистического анализа является 10- компонентный вектор признаков (F₁, F₂, F₃, F₄, F₅, F₆, F₇, F₈, F₉, F₁₀).

Блок-схема анализатора 1504 признаков приведена на Фиг.26. Признак 2601 "средняя насыщенность зеленых пикселей" F₆ и признак 2602 "нормализованное число зеленых пикселей" F₁ подаются на первый и второй входы блока 2620 двумерного порогового преобразования, который вычисляет вектор логических величин

(y₁₁, y₁₂, y₁₃, y₁₄, y₂₁, y₂₂, y₂₃, y₂₄, y₃₁, y₃₂, y₃₃, y₃₄, y₄₁, y₄₂, y₄₃, y₄₄),

где каждая из этих величин y_ij вычисляется по формуле $$y_{ij}=F_1\ge T_{i-1}^1\wedge F_1\le T_i^1\wedge F_6\ge T_{j-1}^2\wedge F_6\le T_j^2$$ , где $$T_0^1$$ , $$T_1^1$$ , $$T_2^1$$ , $$T_3^1$$ , $$T_4^1$$ , $$T_0^2$$ , $$T_1^2$$ , $$T_2^2$$ , $$T_3^2$$ , $$T_4^2$$ - предопределенные пороговые величины, удовлетворяющие условию $$T_0^1=0$$ , $$T_4^1=1$$ , $$T_0^2=0$$ , $$T_4^2=0$$ ,

$$T_0^1<T_1^1<T_2^1<T_3^1<T_4^1$$ , $$T_0^2<T_1^2<T_2^2<T_3^2<T_4^2$$ .

Признак 2602 "нормализованное число зеленых пикселей" также подается на вход блока 2611 порогового преобразования, вычисляющего логическую величину N₁=F₁<T³, где T³ - предопределенная пороговая величина, удовлетворяющая условию 0<T³<1.

Признак 2603 "нормализованное число пикселей цвета человеческой кожи" подается на вход блока 2612 порогового преобразования, вычисляющего логическую величину N₂=F₂<Т⁴, где Т⁴ - предопределенная пороговая величина, удовлетворяющая условию 0<T⁴<1.

Признак 2604 "средняя величина модуля градиента для зеленых пикселей " подается на вход блока 2613 порогового преобразования, вычисляющего логическую величину N₃=F₄<T⁵, где Т⁵ - предопределенная пороговая величина, удовлетворяющая условию 0<Т⁵<1.

Признак 2605 "нормализованное число белых пикселей " подается на вход блока 2614 порогового преобразования, вычисляющего логическую величину N₄=F₇>T⁶, где Т⁶ - предопределенная пороговая величина, удовлетворяющая условию 0<T⁶<1.

Признак 2603 "нормализованное число пикселей цвета человеческой кожи" и признак 2607 "нормализованное число ярких и насыщенных пикселей" подаются на первый и второй входы блока 2621 двумерного порогового преобразования, который вычисляет вектор логических величин

(z₁₁, z₁₂, z₂₁, z₂₂), где каждая из этих величин z_ij i вычисляется по формуле

$$z_{ij}=F_2\ge T_{i-1}^7\wedge F_2\le T_i^7\wedge F_5\ge T_{j-1}^8\wedge F_5\le T_j^8$$ , где $$T_0^7$$ , $$T_1^7$$ , $$T_2^7$$ , $$T_0^8$$ , $$T_1^8$$ , $$T_2^8$$ - предопределенные пороговые величины, удовлетворяющие условию $$T_0^7=0$$ , $$T_2^7=1$$ , $$T_0^8=0$$ , $$T_2^8=1$$ , $$T_0^7<T_1^7<T_2^7$$ , $$T_0^8<T_1^8<T_2^8$$ .

Признак 2606 "средняя яркость" F₃ и признак 2607 "нормализованное число ярких и насыщенных пикселей" F₅ подаются на первый и второй входы блока 2622 линейной классификации, вычисляющего логическую величину Q₁=К₁·F₃+К₂·F₅+В>0, где K₁, К₂ и В - предопределенные константы.

Признак 2607 "нормализованное число ярких и насыщенных пикселей" F₅ подается на вход блока 2615 порогового преобразования, вычисляющего логическую величину Q₂=F₅>Т⁹ _, где Т⁹ - предопределенная пороговая величина, удовлетворяющая условию 0<T⁹<1.

Признак 2608 "средняя яркость зеленых пикселей" подается на вход блока 2616 порогового преобразования, вычисляющего логическую величину P₁=F₈>T¹⁰, где T¹⁰ - предопределенная пороговая величина, удовлетворяющая условию 0<T¹⁰<1.

Признак 2608 "средняя яркость зеленых пикселей" подается на вход блока 2617 порогового преобразования, вычисляющего логическую величину P₂=F₈>T¹¹, где T¹¹ - предопределенная пороговая величина, удовлетворяющая условию 0<T¹¹<1, T¹¹≠T¹⁰.

Признак 2609 "средняя величина синего канала для зеленых пикселей " подается на вход блока 2618 порогового преобразования,

вычисляющего логическую величину P₃=F₉<T¹², где Т¹² - предопределенная пороговая величина, удовлетворяющая условию 0<T¹²<1.

Признак 2610 "компактность гистограммы зеленого цветового канала для зеленых пикселей" подается на вход блока 2619 порогового преобразования, вычисляющего логическую величину P₄=F₁₀<T¹³, где T¹³ - предопределенная пороговая величина, удовлетворяющие условию 0<T¹³<1.

Выходы блоков 2611, 2612, 2613, 2614, 2615, 2616, 2617, 2618, 2619 порогового преобразования наряду с выходами блоков 2620 и 2621 двумерного порогового преобразования и выходом блока 2622 линейной классификации соединены со входами блока 2623 логического анализа, вычисляющего результат детектирования игрового эпизода полевого вида спорта для текущего кадра исключительно на основании пикселей этого кадра.

Блок логического анализа реализует логическую формулу $$R=\left(\neg V_1\right)\wedge P_1\wedge P_4\wedge V_2\wedge \left(\neg P_2\wedge P_3)\right)$$ ,

где V₁=N₁⋁N₂⋁N₃⋁N₄⋁z₁₁ и

$$V_2=\left(y_{22}\wedge Q_2\right)\vee y_{23}\vee \left(y_{24}\wedge Q_1\right)\vee y_{32}\vee y_{33}\vee y_{34}\vee y_{42}\vee y_{43}\vee y_{44}$$ .

Блок-схема детектора 1505 смены сцены показана на Фиг.27. Значения 2701 в цветовых каналах R,G и В текущего кадра и центры кластеров сегментации из предыдущего кадра с выхода блока 2703 задержки подаются на вход блока 2702 кластеризации. Центры кластеров сегментации а:(описываются матрицей размером N_K на 3 элемента, где N_K - количество кластеров, используемых при сегментации:

$$K_C=\left(\begin{array}{ccccc}{R}_1^C& R_2^C& R_3^C& \dots & R_{N_K}^C\\ G_1^C& G_2^C& G_3^C& \dots & G_{N_K}^C\\ B_1^C& B_2^C& B_3^C& \cdots & B_{N_K}^C\end{array}\right)$$

Блок 2702 кластеризации выполняет одну итерацию алгоритма K - средних, т.е. каждый пиксель Р(i, j) с координатами i, j и описываемый тремя значениями в цветовых каналах Р(i,j)=(R(i,j) G(i, j) B(i, j)) причисляется к кластеру $$K(i,j)=\arg \underset{k=1\dots N_k}{\min }\Vert P(i,j)-C_k\Vert$$ , где $$Ck=(R_k^C{G}_k^C{B}_k^C)$$ - центр k-го кластера, а ∥·∥ - некоторая векторная норма. При этом суммарная ошибка кластеризации вычисляется как $$E={\displaystyle \sum _{\begin{array}{l}i=1\dots w\\ j=1\dots h\end{array}}\Vert P(i,j)-C_{K(i,j)}\Vert }$$ . Обновленные центры кластеров вычисляются по формуле $${\tilde{K}}_C=\left(\begin{array}{ccccc}{\tilde{R}}_1^C& {\tilde{R}}_2^C& {\tilde{R}}_3^C& \dots & {\tilde{R}}_{N_K}^C\\ {\tilde{G}}_1^C& {\tilde{G}}_2^C& {\tilde{G}}_3^C& \dots & G_{N_K}^C\\ {\tilde{B}}_1^C& {\tilde{B}}_2^C& {\tilde{B}}_3^C& \cdots & {\tilde{B}}_{N_K}^C\end{array}\right)$$ , где $${\tilde{R}}_k^C=\frac{{\displaystyle \sum _{\begin{array}{l}i=1\dots w\\ j=1\dots h\end{array}}\delta (K(i,j)=k)\cdot R\left(i,j\right)}}{{\displaystyle \sum _{\begin{array}{l}i=1\dots w\\ j=1\dots h\end{array}}\delta (K(i,j)=k)}}$$ , $${\tilde{G}}_k^C=\frac{{\displaystyle \sum _{\begin{array}{l}i=1\dots w\\ j=1\dots h\end{array}}\delta (K(i,j)=k)\cdot G\left(i,j\right)}}{{\displaystyle \sum _{\begin{array}{l}i=1\dots w\\ j=1\dots h\end{array}}\delta (K(i,j)=k)}}$$ , $${\tilde{B}}_k^C=\frac{{\displaystyle \sum _{\begin{array}{l}i=1\dots w\\ j=1\dots h\end{array}}\delta (K(i,j)=k)\cdot B\left(i,j\right)}}{{\displaystyle \sum _{\begin{array}{l}i=1\dots w\\ j=1\dots h\end{array}}\delta (K(i,j)=k)}}$$ .

Обновленные центры кластеров с выхода блока 2702 кластеризации подаются на вход блока 2703 задержки. Суммарная ошибка кластеризации с выхода блока 2702 кластеризации подается на вход блока 2705 задержки. Суммарная ошибка кластеризации с выхода блока 2702 кластеризации и выход блока 2705 задержки подаются на вход блока 2706, вычисляющего минимум этих двух величин, и на вход блока 2707, вычисляющего максимум этих двух величин. Выход блока 2706 подается на вход блока 2708 усиления, который производит умножение входной величины на заданную константу, превышающую единицу. Выход блока 2708 и выход блока 2707 соединены с первым и вторым входами блока 2709 вычитания, выход которого соединен со входом 2710 порогового преобразования. Выходом 2710 порогового преобразования является логическая величина, принимающая истинное значение в случае, если текущий кадр не принадлежит той же сцене, что и предыдущий кадр.

Блок-схема динамического детектора 1506 типа контента показана на Фиг. 28. Выход блока 1605 статистического анализа соединен с первым входом данных переключателя 2802 и первым входом блока 2803 логической дизъюнкции, выход детектора 2801 смены сцены соединен с управляющим входом переключателя 2802. Выход блока 2803 логической дизъюнкции соединен со вторым входом данных переключателя 2802. На выход переключателя 2802 передается сигнал с первого входа данных, если управляющий вход установлен в логическую единицу, и сигнал со второго входа данных, если управляющий вход установлен в логический ноль. Выход переключателя 2802 соединен с входом линии 2804 задержки. Выход линии 2804 задержки соединен с вторым блоком 2803 логической дизъюнкции и представляет собой выход динамического детектора 1506 типа контента.

Одно из возможных приложений данного изобретения в телевизионном приемнике показано на Фиг.29. Видеосигнал 2900 принимается ресивером 2901 и сохраняется в кадровом буфере 2902. Выход ресивера соединяется с устройством 2905 для обнаружения игровых эпизодов в полевых видах спорта в видеопоследовательностях. Выход кадрового буфера 2902 соединен с блоком 2903 улучшения видео изображений, который производит обработку видеоизображения, в частности, подавление шумов, улучшение контраста, обострение и т.п. Выход устройства 2905 для обнаружения игровых эпизодов в полевых видах спорта в видеопоследовательностях соединен с входом блока 2906 адаптации, который передает требуемые для данного типа изображения настройки алгоритмов обработки видеоизображения в блок 2903 улучшения видео изображений. Выход блока 2903 улучшения видео изображений, состоящий из обработанного видеопотока, подается на устройство 2904 отображения.

Изобретение также может быть использовано при автоматической индексации архивов видеопоследовательностей.

Изобретение относится к технологиям обработки видеоизображений, а именно к автоматизации процесса классификации видеоконтента по жанру и содержанию в реальном режиме времени. Техническим результатом является автоматическая подстройка настроек изображения. Результат достигается тем, что вычисляют яркость и насыщенность каждого пикселя кадра, описываемого значениями в красном, зеленом и синем цветовых каналах; вычисляют абсолютную величину градиента яркости для каждого пикселя кадра; выполняют классификацию по цвету каждого пикселя кадра; вычисляют статистику по результатам классификации по цветам для всего кадра; вычисляют статистику по результатам классификации по цветам для зеленых областей кадра; определяют, является ли данный кадр игровым эпизодом в полевых видах спорта, на основании исключительно характеристик текущего кадра; определяют, принадлежит ли текущий кадр той же сцене, что и предыдущий кадр; используют результат детектирования, полученный для предыдущего кадра, в качестве уточненного результата детектирования в случае, если текущий кадр принадлежит той же самой сцене, что и предыдущий кадр видеопоследовательности; или используют результат детектирования, полученный для текущего кадра на основании исключительно характеристик текущего кадра, в качестве уточненного результата детектирования в случае, если текущий кадр не принадлежит той же самой сцене, что и предыдущий кадр видеопоследовательности. 3 н. и 7 з. п. ф-лы, 29 ил.

1. Способ обнаружения игровых эпизодов в полевых видах спорта в реальном времени, заключающийся в выполнении следующих операций:
- вычисляют яркость и насыщенность каждого пикселя кадра, описываемого значениями в красном, зеленом и синем цветовых каналах;
- вычисляют абсолютную величину градиента яркости для каждого пикселя кадра;
- выполняют классификацию по цвету каждого пикселя кадра;
- вычисляют статистику по результатам классификации по цветам для всего кадра;
- вычисляют статистику по результатам классификации по цветам для зеленых областей кадра;
- определяют, является ли данный кадр игровым эпизодом в полевых видах спорта на основании исключительно характеристик текущего кадра;
- определяют, принадлежит ли текущий кадр той же сцене, что и предыдущий кадр;
- используют результат детектирования, полученный для предыдущего кадра, в качестве уточненного результата детектирования в случае, если текущий кадр принадлежит той же самой сцене, что и предыдущий кадр видеопоследовательности, или
- используют результат детектирования, полученный для текущего кадра на основании исключительно характеристик текущего кадра, в качестве уточненного результата детектирования в случае, если текущий кадр не принадлежит той же самой сцене, что и предыдущий кадр видеопоследовательности.

2. Способ по п.1, отличающийся тем, что процедура выполнения классификации пикселей по цвету состоит из следующих операций:
- определяют, является ли пиксель белым;
- определяют, является ли пиксель ярким и насыщенным;
- определяют, является ли пиксель желтым;
- определяют, является ли пиксель зеленым;
- определяют, похож ли пиксель по цвету на человеческую кожу.

3. Способ по п.1, отличающийся тем, что процедура вычисления статистики по результатам классификации по цветам для всего кадра заключается в выполнении следующих операций:
- вычисляют пропорцию белых пикселей в кадре;
- вычисляют пропорцию ярких и насыщенных пикселей в кадре;
- вычисляют пропорцию зеленых пикселей в кадре;
- вычисляют пропорцию пикселей, похожих по цвету на человеческую кожу в кадре.

4. Способ по п.1, отличающийся тем, что процедура вычисления статистики по результатам классификации по цветам для зеленых областей кадра заключается в выполнении следующих операций:
- вычисляют среднюю яркость в зеленых областях кадра;
- вычисляют среднюю насыщенность в зеленых областях кадра;
- вычисляют среднюю величину в синем цветовом канале в зеленых областях кадра;
- вычисляют среднюю абсолютную величину градиента яркости в зеленых областях кадра;
- вычисляют гистограмму зеленого цветового канала в зеленых областях кадра.

5. Устройство для обнаружения игровых эпизодов в полевых видах спорта в реальном времени, состоящее из кадрового буфера, детектора признаков низкого уровня, детектора смены сцены, блока анализа признаков и динамического детектора типа контента, где кадровый буфер соединен с детектором признаков низкого уровня, входом линии задержки и с первым входом детектора смены сцены; выход детектора признаков низкого уровня соединен с блоком анализа признаков, выход линии задержки соединен со вторым входом детектора смены сцены; блок анализа признаков соединен с первым входом динамического детектора типа контента; выход детектора смены сцены соединен со вторым входом динамического детектора типа контента; выход динамического детектора типа контента является выходом устройства.

6. Устройство по п.5, отличающееся тем, что детектор смены сцены выполнен с возможностью определения, принадлежит ли текущий кадр той же сцене, что и предыдущий кадр.

7. Устройство по п.5, отличающееся тем, что динамический детектор типа контента выполнен с возможностью передачи в качестве уточненного результата детектирования результата, полученного при детектировании предыдущего кадра в случае, если текущий кадр относится к той же сцене, что и предыдущий кадр, и результата детектирования, полученного текущего кадра на основании исключительно характеристик текущего кадра, в случае, если текущий кадр является первым кадром видеопоследовательности или если текущий кадр не относится к той же сцене, что и предыдущий кадр.

8. Детектор признаков низкого уровня в устройстве для обнаружения игровых эпизодов в полевых видах спорта в реальном времени, состоящий из блока преобразования пикселей, выполненного с возможностью вычисления насыщенности и яркости для каждого пикселя и соединенного с классификатором цвета пикселя, который выполнен с возможностью определения цвета пикселей в соответствии с тем, как он воспринимается человеком; и блока вычисления градиента, который выполнен с возможностью вычисления градиента в канале яркости и выход которого соединен, наряду с выходом классификатора пикселей, с входом блока статистического анализа.

9. Детектор признаков низкого уровня по п.8, отличающийся тем, что он выполнен с возможностью классифицирования цвета пикселя путем вычисления вектора, состоящего из следующих логических величин:
- является ли пиксель белым;
- является ли пиксель ярким и насыщенным;
- является ли пиксель желтым;
- является ли пиксель зеленым;
- похож ли пиксель по цвету на человеческую кожу.

10. Детектор признаков низкого уровня по п.8, отличающийся тем, что содержащийся в детекторе блок статистического анализа выполнен с возможностью вычисления вектора, состоящего из следующих характеристик кадра:
- нормализованное число зеленых пикселей в кадре;
- нормализованное число ярких и насыщенных пикселей в кадре;
- нормализованное число пикселей, похожих по цвету на человеческую кожу в кадре;
- средняя яркость зеленых областей кадра;
- средняя насыщенность зеленых областей кадра;
средняя величина синего цветового канала в зеленых областях кадра;
- средняя абсолютная величина градиента яркости в зеленых областях кадра;
- компактность гистограммы зеленого цветового канала в зеленых областях кадра.