Устройство для удаления логотипов и субтитров с видеопоследовательностей Российский патент 2018 года по МПК G06F17/24 G06T11/60 

Предлагаемое изобретение относится к области вычислительной техники и может быть использовано в системах анализа и обработки изображений, цифровом телевидении.

Известно устройство по способу локализации текста на изображении с помощю дискретного косинусного преобразования [Jung H.K., Canedo-Rodríguez A., Kim J.H., Kelly J.. Simple and Efficient Text Localization for Compressed Image in Mobile Phone \\ Journal of Signal and Information Processing, 2014]

Устройство содержит блок хранения изображения, блок центрирования изображения пользователем, блок вычисления ДКП, блок вычисления энергии текста, блок суммирования энергий, блок задания порога для гистограммы энергий.

Недостатками известного устройства являются:

- априорно задаваемые пороговые значения;

- необходимость центрирования текста

Известен «Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине» [Патент RU № 2426172, МПК G 06 K 9/34]. Изобретение относится к области распознавания и сегментации изображений, и в частности к способу и системе для выделения целевого объекта из фонового изображения и изображения объекта путем создания маски, используемой для выделения целевого объекта. Техническим результатом является создание усовершенствованного способа выделения данных об изображении объекта, используя данные о глубине изображения. Указанный технический результат достигается тем, что создается скалярное изображение разности изображения объекта и фона на основе разности освещенности, а в областях, где разность освещенности ниже заранее установленного порогового значения, на основе разности цвета; инициализируется маска по результатам, полученным из предыдущего видеокадра, где скалярное изображение разности меньше заранее установленного порога, если эти результаты доступны, при этом маску объекта заполняют нулями и единицами, где единица означает, что соответствующий пиксель принадлежит объекту, и нуль в ином случае; кластеризуется скалярное изображение разности и данные по глубине на основе нескольких кластеров; создается маска для каждого положения пикселя видеокадра, используя центры тяжести кластеров скалярной разности и данные по глубине для текущего положения пикселя; компенсируется изменение фона сцены во времени путем обновления изображения фона на основе использования созданной маски и изображения разности.

Система, реализующая способ выделения данных об изображении объекта из последовательности видеокадров, из изображения фона, не содержащего данных об изображении объекта, и из последовательности данных о глубине, соответствующих видеокадрам, на основе создаваемой маски объекта для каждого видеокадра, включающая в себя две цифровые видеокамеры, удаленные одна от другой и выполненные с возможностью съемки сцены в стерео формате, причем одна из цифровых видеокамер выполняет роль эталонной камеры; обработчик данных по цвету, выполненный с возможностью преобразования данных от камер в цветовые данные RGB; обработчик данных о глубине, выполненный с возможностью определения соответствия между пикселями в изображениях от каждой из двух цифровых видеокамер; обработчик данных по фону, выполненный с возможностью обработки фона для каждого видеокадра и запускающийся цветным цифровым изображением сцены, не содержащей объекта, от эталонной камеры; оценщик разности, выполненный с возможностью вычисления разности в освещенности и цвете фонового изображения и текущего видеокадра; детектор фона/переднего плана, выполненный с возможностью определения принадлежности конкретного пикселя фону или объекту.

Недостатками известной системы являются:

Использование двух видеокамер приводит к большим вычислительным затратам при получении альфа-канала выделяемого объекта.

Известно устройство по способу выделения объекта на изображении на основе решения уравнений Пуассона (Poisson matting for images) [Patent USA № 7636128], которое содержит блок хранения изображения, блок задания глобальной маски для решения уравнений Пуассона, блок задания локальной маски для решения уравнений Пуассона, блок принятия решений о проверке корректности полученной маски, блок ручного уточнения полученной маски

Недостатками известного способа являются:

- Применение локальных фильтров, исправляющие вручную окончательный результат с помощью решения локальных уравнений Пуассона, что не позволяет получить эффективной автоматизированной системы обработки.

Наиболее близким к изобретению является устройство по способу восстановления изображений на основе заполнения похожими областями и устройство его реализующее (Image region filling by exemplar-based inpainting) [Patent USA № 11/095,138, №10/453,404].

Рассматриваемое устройство - прототип содержит: блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок поиска подобия, блок заполнения изображения.

Недостатками известного устройства-прототипа являются:

– видимость границ на восстановленном изображении между найденными похожими блоками;

– неправильное восстановление при отсутствии похожего блока;

– зависимость эффективности восстановления от выбора размера блока.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

– отсутствие похожего блока приводит не правильному восстановлению, так как замена пикселей происходи на пиксели блока, для которого евклидова метрика минимальна, даже в том случае если она имеет большое значение по абсолютной величине;

– выбор размера блока зависит от априорной информации о размере и формы области восстановления и геометрических свойств изображения.

Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал , (фиг. 1), где – доступные пиксели неискаженного изображения, - область изображения с отсутствующими пикселями, – граница области .

Техническая задача – реконструкция значений пикселей динамических двумерных сигналов, которые были потеряны путем наложения субтитров и логотипов.

Технический результат достигается за счет того, что устройство для удаления логотипов и субтитров с видеопоследовательностей содержит блок хранения кадров, вход которого является информационным входом устройства, первый выход которого подключён к входу блока задержки, выход которого подключён ко второму входу блока обнаружения логотипов; третий выход блока хранения кадров подключён к входу блока обнаружения субтитров; второй выход блока хранения кадров подключён к первому входу блока обнаружения логотипов; выход блока обнаружения субтитров и выход блока обнаружения логотипов, подключены к первому и второму входу блока формирования маски соответственно, выход которого подключен первому входу блока хранения данных; четвертый выход блока хранения кадров подключён ко второму входу блока хранения данных, первый выход которого подключён к входу блока хранения пикселей, выход которого подключён к входу блока создания словаря, выход которого подключён к входу блока хранения словаря, выход которого подключён к первому входу блока поиска подобия; второй выход блока хранения данных, подключён к входу блока обработки, выход которого подключён к входу блока вычисления приоритета, выход которого подключён ко второму входу блока поиска подобия, выход которого подключён к входу блока заполнения изображения, выход которого подключён к третьему входу блока хранения данных, третий выход которого является информационным выходом устройства.

На фиг. 1 представлено математическая модель изображения.

На фиг. 2 представлено построение ортогональных векторов.

На фиг. 3 представлен поиск похожих блоков.

На фиг. 4 представлена блок-схема устройства.

Устройство для удаления логотипов и субтитров с видеопоследовательностей содержит блок хранения кадров 1, вход которого является информационным входом устройства, первый выход которого подключён к входу блока задержки 5, выход которого подключён ко второму входу блока обнаружения логотипов 3; третий выход блока хранения кадров 1 подключён к входу блока обнаружения субтитров 2; второй выход блока хранения кадров 1 подключён к первому входу блока обнаружения логотипов 3; выход блока обнаружения субтитров 2 и выход блока обнаружения логотипов 3, подключены к первому и второму входу блока формирования маски 4 соответственно, выход которого подключен первому входу блока хранения данных 6; четвертый выход блока хранения кадров 1 подключён ко второму входу блока хранения данных 6, первый выход которого подключён к входу блока хранения пикселей 7, выход которого подключён к входу блока создания словаря 8, выход которого подключён к входу блока хранения словаря 9, выход которого подключён к первому входу блока поиска подобия 12; второй выход блока хранения данных 6, подключён к входу блока обработки 10, выход которого подключён к входу блока вычисления приоритета 11, выход которого подключён ко второму входу блока поиска подобия 12, выход которого подключён к входу блока заполнения изображения 13, выход которого подключён к третьему входу блока хранения данных 6, третий выход которого является информационным выходом устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 14.

В видеоданных встречаются статические изображения, которые мешают просмотру, закрывая часть полезной информации от зрителя. К таким изображениям относятся различные логотипы каналов, дата, время или субтитры, которые были наложены на фильм с дальнейшим кодированием. Также отдельным классом областей, мешающим просмотру видео, являются искаженные блоки при работе видеокодека, появление которых объясняется ненадежностью среды передачи данных от кодера к декодеру. Удаление данных изображений включает в себя два шага: автоматическую локализацию их в кадре, а также последующая реконструкция потерянной полезной составляющей в кадре.

Для автоматической локализации данных изображений существует большое количество методов. Грубо большинство методов можно разделить на две группы: методы, основанные на пространственных преобразованиях методы, основанные на машинном обучении. Для большинства методов необходимо априорное задание пороговых значений, что в свою очередь может привести к сужению круга решаемых практических задач. Дополнительно методы основанные на машинном обучении нуждаются в достаточном количестве обучающих данных, что также может ограничить спектр решаемых задач.

Предлагаемое устройство для удаления логотипов и субтитров с видеопоследовательностей позволяет удалять логотипы и субтитры с видеопоследовательности используя копирование блоков пикселей с остальной части кадра видеопоследовательности. Устройство реализует следующие этапы обработки. На первом этапе загружается видеопоследовательность, на которой необходимо удалить некоторый объект. После чего происходит разбиение видеопоследовательности на кадры. В случае динамического изображения рассматривается модель, которая представляет собой двумерную дискретную последовательность , на которой происходит автоматический поиск логотипов и субтитров. Для локализации логотипов делается предположение о том, что он имеет постоянное значение яркости. После чего случайным образом из видеопоследовательности выделяются два кадра и , - где случайное число. Далее определяется разность между кадрами . Результирующая маска формируется в соответствии с условием . Для локализации субтитров вводится три предположения. Первое предположение заключается в том, что буквы имеют постоянное значение яркости, второе, что они имеют темный или светлый оттенок, и третье, то что они локализованы в нижней части кадра видеопоследовательности. На первом этапе выполняется предобработка в виде морфологической операции «верх шляпы» для субтитров имеющий светлый оттенок, и «низ шляпы» для темных значений, где - текущий кадр, - структурообразующий элемент. Маска с предварительной локализацией субтитров формируется путем пороговой обработки, в соответствии с условием , - где априорно заданное пороговое значение. Результирующая маска формируется путем ранжирования высот объектов на маске . Таким образом, если более 3 объектов имеют одинаковое значение высоты, делается предположение что это буквы.

При невыполнении данного условия пользователю предлагается расставить метки повторно. Метки, установленные пользователем и найденные в автоматическом режиме необходимы для создания бинарной маски , на которой единичными значениями помечены пиксели, относящиеся к объекту, а нулевыми к фону. Создание бинарной маски , осуществляется с помощью способа, предложенного в патенте № 2522044 «Устройство выделения контуров объектов на текстурированном фоне при обработки цифровых изображений». Суть данного метода заключается в следующем. На первом шаге исходное изображение, на котором представлен некоторый объект на произвольном фоне, двумерный массив, содержащий маркеры фона и выделяемого объекта, двумерный массив , содержащий маркеры только выделяемого объекта децимируются на 2. На втором шаге для изображения с уменьшенным разрешением и двумерного массива с уменьшенной размерностью строится разреженная матрица Лапласа размерностью :

,

где - ковариационная матрица 3х3, - вектор 3х1 средних цветов в окне и – идентичная матрица 3х3.

На третьем шаге для двумерного массива с уменьшенной размерностью строится диагональная матрица , диагональные элементы которой равны единице для маркированных пикселей и равны 0 для всех остальных. На четвертом шаге из двумерного массива формируется вектор-столбец размерностью , с поэлементным возведением в квадрат. Полученный вектор-столбец b и диагональная матрица умножаются на константу . На пятом шаге формируется разреженная матрица :

Для полученной разреженной матрицы находят обратную матрицу . На шестом шаге формируется альфа-канал для изображения с уменьшенным размером:

.

Далее с помощью исходного изображения , уменьшенного изображения альфа-канал интерполируется в 2 раза на основе линейных коэффициентов по формуле

,

где c – канал цвета, .

После чего альфа канал бинаризуется, образуя маску .

Далее маски суммируются, образуя маску , по которой, на кадре , алгоритмом восстановления изображений происходит удаление отмеченного объекта. Суть данного алгоритма заключается в следующем. На первом этапе загружается изображение с потерянными пикселями, а также изображение с маской. После чего создаются двумерные матрицы. Данные матрицы используются для заполнения участков изображения с потерянными пикселями. Заполнение происходит для пикселей смежных к пикселю, для которого приоритет оказывается максимальным. Вычисление значения приоритета для каждого значения пикселя границы, состоит из двух множителей (фиг. 2):

,,

, ,

где: - текущий пиксель на границе доступных пикселей; - коэффициент доверия; - коэффициент градиента; - квадратный блок пикселей с центром в пикселе ; - количество пикселей квадратного блока, вектор, ортогональный градиенту в точке ; - вектор, ортогональный границе в точке ; - нормированный множитель, который для восьми битных изображений равен 255.

Вначале предполагается, что значение коэффициента доверия для пикселей из области равно 1, а для области равно 0. Вычисление приоритета позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области . Далее происходит поиск блока с максимальным приоритетом .

На следующем шаге находится блок в области доступных пикселей , для которого евклидова норма минимальна (фиг. 3):

Значения пикселей из найденного блока копируются в области . Данные доверия для восстановленных пикселей присваиваются равным текущему значению с ограничением , что . Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется. После того как объект был удален, текущий кадр и все последующие кадры формируются в видеопоследовательность.

Устройство для удаления логотипов и субтитров с видеопоследовательностей работает следующим образом. На вход блока хранения кадров 1 поступает видеопоследовательность, где она разбивается на кадры. После чего кадры через блок задержки 5 поступают на вход блока обнаружения логотипов 3. Далее происходит поиск логотипов в блоке 3 и блоке поиска субтитров 2 соответственно для каждого кадра из видеопоследовательности. Полученные маски суммируются и хранятся в блоке формирования маски 4, и после чего поступают на вход блока хранения данных 6. Доступные пиксели сохраняются в блоке хранения пикселей 7, с помощью которых в блоке создания словаря 8 создаются двумерные матрицы, которые используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером 15 на 15 пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. Данные матрицы хранятся в блоке хранения словаря 9. В блоке обработки 10 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения данных 6. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 11, в котором вычисляется приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке так же осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. Область поступает на вход блока поиска подобия 12, в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря 9. В блоке поиска подобия 12 так же определяется наиболее похожий блок, для которого евклидова метрика минимальна. Далее этот блок поступает в блок заполнения изображения 13, в котором копируются значения пикселей смежных к пикселю с максимальным приоритетом в блок хранения данных 6 на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор, пока не будут восстановлены все значения в блоке хранения данных 6. Синхронность работы устройства обеспечивается генератором тактовых импульсов 14.

Изобретение относится к области вычислительной техники и может быть использовано в системах анализа и обработки изображений, цифровом телевидении. Технический результат – обеспечение реконструкции значений пикселей динамических двумерных сигналов, которые были потеряны путем наложения субтитров и логотипов. Устройство содержит генератор тактовых импульсов, блок хранения данных, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок заполнения изображения, блок хранения кадров, блок формирования маски, блок обнаружения субтитров, блок обнаружения логотипов, блок задержки. 4 ил.

Устройство для удаления логотипов и субтитров с видеопоследовательностей содержит генератор тактовых импульсов, блок хранения кадров, вход которого является информационным входом устройства, первый выход которого подключён к входу блока задержки, выход которого подключён ко второму входу блока обнаружения логотипов; третий выход блока хранения кадров подключён к входу блока обнаружения субтитров; второй выход блока хранения кадров подключён к первому входу блока обнаружения логотипов; выход блока обнаружения субтитров и выход блока обнаружения логотипов подключены к первому и второму входам блока формирования маски соответственно, выход которого подключен к первому входу блока хранения данных; четвертый выход блока хранения кадров подключён ко второму входу блока хранения данных, первый выход которого подключён к входу блока хранения пикселей, выход которого подключён к входу блока создания словаря, выход которого подключён к входу блока хранения словаря, выход которого подключён к первому входу блока поиска подобия; второй выход блока хранения данных подключён к входу блока обработки, выход которого подключён к входу блока вычисления приоритета, выход которого подключён ко второму входу блока поиска подобия, выход которого подключён к входу блока заполнения изображения, выход которого подключён к третьему входу блока хранения данных, третий выход которого является информационным выходом устройства.