СПОСОБ И УСТРОЙСТВО ОБНАРУЖЕНИЯ ДЕФЕКТОВ НА ВИДЕОСИГНАЛАХ Российский патент 2014 года по МПК G06K9/40 H04N5/367 

Предлагаемое изобретение относится к области вычислительной техники и может быть использовано в системах управления и обработки многомерных сигналов.

Упрощенная математическая модель динамического цифрового изображения, которая представляет собой двумерную дискретную последовательность $$Y_{i,j}^{\left(k\right)}$$ , $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ , $$k=\overline{\mathrm{1,}K}$$ , вида:

$$Y_{i,j}^{\left(k\right)}=\{\begin{array}{l}{S}_{i,j}^{\left(k\right)},{\eta }_{i,j}^{\left(k\right)}=\left\{\right\}\\ {\eta }_{i,j}^{\left(k\right)},{\eta }_{i,j}^{\left(k\right)}\ne \left\{\right\}\end{array},i=\overline{\mathrm{1,}N},j=\overline{\mathrm{1,}M},k=\overline{\mathrm{1,}K},\left(1\right)$$

где $$S_{i,j}^{\left(k\right)}$$ - полезная двумерная составляющая (неискаженный кадр видеосигнала), $${\eta }_{i,j}^{\left(k\right)}$$ - область с отсутствующими или искаженными пикселями (дефекты), N - количество строк, M - количество столбцов двумерного массива изображения, K - количество кадров двумерного массива динамического изображения. Предполагается, что кадры $$Y_{i,j}^{\left(k-1\right)}$$ и $$Y_{i,j}^{\left(k+1\right)}$$ коррелированны с центральным кадром $$Y_{i,j}^{\left(k\right)}$$ . Дефектная область $${\eta }_{i,j}^{\left(k\right)}$$ представлена в виде искаженных значений пикселей, время наблюдения которых, как правило, не более 1-2 кадров в видеопоследовательности.

Основная решаемая задача - обнаружение положения дефектов на видеосигналах.

Подобная задача может возникнуть: 1) в системах автоматического восстановления архивных видеозаписей; 2) в системах цифровой обработки последовательностей коррелированных изображений; 3) в радиотехнических системах обработки многомерных сигналов.

С развитием цифровых систем видеозаписи на второй план отходят системы аналоговой видеозаписи. К сожалению, особенности аналоговой видеопленки таковы, что со временем материал, записанный на нее, частично искажается. Это связано с некачественной аппаратурой, неправильным хранением видеопленки, а также ее размагничиванием. Все эти факторы приводят к появлению на пленке дефектов в виде одиночных или групповых пикселей, значение которых по яркости значительно выделятся на фоне остальных пикселей. Время наблюдения данных дефектов, как правило, не более 1-2 кадров в видеопоследовательности. Восстановление таких дефектов в настоящее время в большинстве случаев осуществляется путем ручной покадровой обработки, что затрудняет восстановление архивных видеозаписей, старых документальных и художественных фильмов. В связи с чем является актуальной задача автоматизированной реставрации архивных видеозаписей.

Традиционный подход к решению задачи удаления дефектов можно разделить на два этапа:

1. Обнаружение дефектов (получение маски с положением дефектных пикселей).

2. Удаление дефектов (восстановление кадров видеопоследовательности).

Известен способ ранжирования пикселей (ROD), эвристический детектор, основанный на порядковой статистике [A.Gangal, Т.Kayikcioglu, and В.Dizdaroglu, "An improved motion-compensated restoration method for damage color motion picture film," Signal Proc: Image Communication, vol. 19, pp.353-368, 2004]. Пусть p_r, где r=1, 2, …, 6 устанавливает связь между смежными пикселями на $$Y_{i,j}^{\left(k\right)}$$ . Данные пиксели взяты из соображения компенсации движения на предыдущем и последующем кадрах, в местах пространственно близко расположенных к пикселю на $$Y_{i,j}^{\left(k\right)}$$ и двух его ближайших вертикальных соседей. Пусть d_m последовательность пикселей p_r отсортирована по рангу d₁≤d₂≤…≤d₆. Здесь d_mean - среднее значение данной последовательности и рангового-порядкового различия ROD(η_i,j, l), где l=1, 2, 3…:

$$d_{mean}=\frac{d_3+d_4}{2}$$ ,

$$ROD\left({\eta }_{i,j},l\right)=\{\begin{array}{l}{d}_1-Y_{i,j}^{\left(k\right)}\left({\eta }_{i,j}\right)if{Y}_{i,j}^{\left(k\right)}\left({\eta }_{i,j}\right)\le d_{mean}\\ Y_{i,j}^{\left(k\right)}\left({\eta }_{i,j}\right)-d_{7-l}if{Y}_{i,j}^{\left(k\right)}\left({\eta }_{i,j}\right)>d_{mean}\end{array}withl=\mathrm{1,2,3}$$

Дефект считается обнаруженным, если хотя бы одна из ранжированных последовательностей превысит заданный порог T_l. Порог Т₁ задается пользователем, и определяется чувствительность детектора [Nadenau М.J. and Mitra S.К., "Blotch and scratch detection in image sequences based on rank ordered differences," Time-Varying Image Processing and Moving Object Recognition, Elsevier, pp.27-35, 1997.]:

$$L_{ROD}\left({\eta }_{i,j}\right)=\{\begin{array}{l}\begin{array}{cc}1& ifROD\left({\eta }_{i,j},l\right)>T\end{array}\\ \begin{array}{cc}0& else\end{array}\end{array}with0\le T_1\le T_2\le T_{3}andl=\mathrm{1,2,3}$$ .

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение последовательности кадров из исходной видеопоследовательности, пороговая обработка, получение маски с дефектами.

К недостаткам следует отнести фиксацию чувствительности и выбор порога детектора, который задается пользователем.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- выбор порогового значения зависит от априорной информации о размере и формы области восстановления и геометрических свойств изображения.

Известен упрощенный способ ранжирования пикселей ROD, детектор (SROD) [Roosmalen van Р.М.В., Biemond J., and Lagendijk R. L., "Restoration and storage of film and video archive material," Signal Processing for Multimedia, 1999.]. Отличие ROD детектора от SROD заключается в том, что из области возможного детектора берется не значение медианы, а разница между локальным максимумом и минимумом. Обозначим упорядоченное по возрастанию значений яркостей множество этих пикселей для n-го кадра через p_r, i∈[1,6]. Тогда решающее правило можно записать в виде следующего выражения:

$$SROD\left(i\right)=\{\begin{array}{l}\begin{array}{cc}\min \left(p_r\right)-Y_{i,j}^{\left(k\right)}\left({\eta }_{i,j}\right)& if\min \left(p_r\right)-Y_{i,j}^{\left(k\right)}\left({\eta }_{i,j}\right)>0\end{array}\\ \begin{array}{ccc}{Y}_{i,j}^{\left(k\right)}\left({\eta }_{i,j}\right)-\max \left(p_r\right)& if{Y}_{i,j}^{\left(k\right)}\left({\eta }_{i,j}\right)-\max \left(p_r>0\right)& withr=\mathrm{1,}\dots \mathrm{,6}\end{array}\\ \begin{array}{cc}0& otherwise\end{array}\end{array}$$ .

Дефект обнаруживается при условии:

$$L_{SROD}\left({\eta }_{i,j}\right)=\{\begin{array}{l}{\begin{array}{cc}1& ifSROD\left({\eta }_{i,j}\right)>T\end{array}}_1\\ \begin{array}{cc}0& otherwise\end{array}\end{array}with{T}_1\ge 0$$ .

Детектор SROD оценивает диапазон интенсивности пикселей, полученных в результате компенсации движения, и сравнивает этот диапазон интенсивности пикселей с условием. Дефекты считается обнаруженным, если текущий пиксель интенсивности находится достаточно далеко за пределами ранга.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение последовательности кадров из исходной видеопоследовательности, пороговая обработка, получение маски с дефектами.

К недостаткам способа следует отнести то, что при малых значениях порогового значения дефектные пиксели будут обнаружены корректно, но будет много ложных срабатываний. При увеличении порогового значения количество обнаруженных дефектов будет уменьшаться при уменьшении количества ложных срабатываний.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- использование однопороговой системы не позволяет разнести плотности распределения искаженных и неискаженных пикселей.

Известен способ детектирования временных разрывов (SDIa) [Kokaram А.С., "Motion Picture Restoration", Springer Verlag, 1998.]. Данный детектор основан на порядковой статистике. Обнаружение пиковых индексов (SDIa) является наиболее простым эвристическим методом для обнаружения временных разрывов на видеопоследовательности. Данный детектор сравнивает значение яркости каждого пикселя на текущем кадре $$Y_{i,j}^{\left(k\right)}$$ со значениями яркости на предыдущем и последующем кадрах видеопоследовательности. После чего вычисляется минимум квадратичной разницы.

.

Большие значения свидетельствуют о разрыве интенсивности на изображении как в прямом, так и обратном временном направлении. Дефект считается обнаруженным, если d_SDIa превысит заданное пороговое значение Г,.

,

где T₁, - априорно задаваемый порог.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение кадров из исходной видеопоследовательности, вычисление дисперсии, получение маски с дефектами.

К недостаткам следует отнести априорно задаваемое значение порога, от которого зависит чувствительность детектора, что приведет к большому проценту ложных срабатываний. Увеличение порогового значения T₁ приведет к уменьшению чувствительности детектора, что

приведет как к уменьшению ложных детектирований, так и уменьшению числа истинных обнаружений.

Известен способ восстановления видеопоследовательности [патент WO 9937087]. Способ можно разделить на два этапа. На первом этапе вычисляются векторы движения для больших блоков на изображении, чтобы удалить мерцание изображения и стабилизировать яркость. Данная операция основана на фазовой корреляции.

Оценка движения основана на выполнении двумерного быстрого преобразования Фурье (БПФ), а корреляция генерируется из предыдущего поля. Корреляции данных подлежит обратной 2D-BnO до максимума наблюдения и интерполяции для получения одного или нескольких векторов движения для каждого блока. После чего считается дисперсия для полученных блоков, полученное усредненное значения поступает на выход.

На втором этапе для обнаружения царапин определяются горизонтальные разрывы с большой вертикальной и временной корреляцией. Царапины считаются обнаруженными, если у вертикальных разрывов средняя горизонтальная корреляция и большая временная корреляция. Оценка корреляции основана на выполнении двумерного быстрого преобразования Фурье (БПФ) для текущего предыдущего кадра.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие:

- выделение кадров из исходной видеопоследовательности, обнаружение временных разрывов, создание маски с дефектами.

К недостаткам способа следует отнести большие вычислительные затраты и малое значение вероятности правильного обнаружения при детектировании дефектов.

Наиболее близким к изобретению является способ и устройство автоматического цифрового восстановления фильмов и видеопоследовательностей [US 7769244 B2]. На первом шаге из RGB тройки выделяется одна цветовая компонента, после чего вычисляются предварительные маски, полученные путем вычитания соседних кадров. На втором шаге определяется карта когерентности как минимум для одной цветовой компоненты по четырем направлениям, для дифференцирования гладкой текстуры и текстуры с градациями яркости с использованием следующих выражений:

F=Y(x₀+k, y₀), F_1,k=Y(x₀+k; y₀+k), F_2k=Y(x₀; y₀+k),

$$P\left(M_0,{\theta }_j\right)=\frac{{\left({\displaystyle \sum _{k=-luli}^{luli}{F}_{j,k}}\right)}^2}{\left(2luli+1\right){\displaystyle \sum _{k=-luli}^{luli}{F}^2}}$$ , j=0,1,2,3

Данная операция необходима, для того чтобы дальнейшая медианная фильтрация проходила только в гладкой области и не вносила искажений в области с перепадами яркости. На третьем шаге к гладким областям применяется медианная фильтрация с заданной априорно площадью дефекта. На четвертом шаге с помощью морфологических операций открытия и закрытия удаляются все предполагаемые дефекты небольшой площади:

$${\left(Y_{i,j}^{\left(k\right)}\right)}^2=(Y_{i,j}^{\left(k\right)}\oplus B)\Theta B)$$ ,

$${\left(Y_{i,j}^{\left(k\right)}\right)}^2=(Y_{i,j}^{\left(k\right)}\Theta B)\oplus B)$$ ,

где $$Y_{i,j}^{\left(k\right)}$$ - изображение в серых тонах, B - структурный элемент.

Признаки способа-прототипа, совпадающие с признаками заявляемого технического решения, следующие: выделение кадров из исходной видеопоследовательности, вычисление разности между смежными кадрами, создание маски с дефектами, удаление объектов небольшой площади.

Недостатками известного устройства-прототипа являются:

- априорно задаваемая площадь дефекта;

- также неспособность обнаруживать артефакты больших размеров, а также полупрозрачные пятна.

Структурная схема устройства-прототипа содержит блок выделения трех кадров, блок вычисления разности между кадрами, блок вычисления карты когерентности, блок разделения гладкой текстуры и границ, блок медианной фильтрации, блок коррекции смазанных границ.

Предлагаемый способ обнаружения дефектов на видеосигналах позволяет автоматически обнаружить дефекты на видеопоследовательности в условиях ограниченного объема априорной информации.

На первом шаге происходит запись значений входной реализации в массивы $$Y_{i,j}^{\left(k-1\right)}$$ , $$Y_{i,j}^{\left(k\right)}$$ , $$Y_{i,j}^{\left(k+1\right)}$$ из исходной видеопоследовательности, где $$Y_{i,j}^{\left(k-1\right)}$$ и $$Y_{i,j}^{\left(k+1\right)}$$ - смежные кадры относительно кадра $$Y_{i,j}^{\left(k\right)}$$ .

Далее вычисляется разность между кадрами $$C_{i,j}^{\left(k\right)}=Y_{i,j}^{\left(k+1\right)}-Y_{i,j}^{\left(k\right)}$$ , $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ и $$C_{i,j}^{\left(k+1\right)}=Y_{i,j}^{\left(k+2\right)}-Y_{i,j}^{\left(k+1\right)}$$ , $$i=\overline{\mathrm{1,}N}$$ , $$j=\overline{\mathrm{1,}M}$$ , где $$C_{i,j}^{\left(k\right)}$$ - массив, полученный после разности кадров. Данная операция позволяет определить отличие между соседними кадрами.

Так как динамические изображения инерционны, то смена сцены и движение объектов для пары смежных кадров будет изменяться незначительно. Дефекты видеосигнала в виде групп пикселей, на уровне белого и черного, присутствуют в большинстве случаев только на одном кадре. Разностные массивы $$C_{i,j}^{\left(k\right)}$$ и $$C_{i,j}^{\left(k+1\right)}$$ кроме дефектов содержат также шлейф от движения объектов. Для выделения дефектов массивы $$C_{i,j}^{\left(k\right)}$$ и $$C_{i,j}^{\left(k+1\right)}$$ бинаризуются [Van Roosmalen, J. Biemond, and R.L.Lagendijk, "Restoration and storage of film and video archive material," Signal Processing for Multimedia. - 1999.]. После чего из полученных массивов удаляются все группы пикселей, занимающих площадь менее порогового значения [Марчук В.И., Воронин В.В., Сизякин Р.А.. Автоматизированное обнаружение дефектных пикселей на архивных видеозаписях. Сервис в России и зарубежом. - Том 2 (21). - 2011. Journal. - 04200700021/0016].

Области в массивах $$C_{i,j}^{\left(k\right)}$$ и $$C_{i,j}^{\left(k+1\right)}$$ разрастаются на заданное количество пикселей. Каждой изолированной области в массивах $$C_{i,j}^{\left(k\right)}$$ и $$C_{i,j}^{\left(k+1\right)}$$ присваивается порядковый номер.

На втором шаге для полученных массивов применяется операция «исключающее или»:

$$D_{i,j}^{\left(k\right)}=C_{i,j}^{\left(k\right)}\oplus C_{i,j}^{\left(k+1\right)}$$ .

В результате данной операции формируется новый массив, в котором единичные элементы присваиваются только для тех областей, которые не имеют пересечения для связанных областей объектов на двух соседних разностных кадрах $$C_{i,j}^{\left(k\right)}$$ и $$C_{i,j}^{\left(k+1\right)}$$ .

В результате работы предложенного алгоритма формируется массив $$D_{i.j}^{\left(k\right)}$$ , в котором в качестве единичных значений помечаются дефектные пиксели для $$Y_{i,j}^{\left(k+1\right)}$$ кадра видеопоследовательности. После выполнения алгоритма первый и второй шаг повторяются для последующих кадров.

Устройство обнаружения дефектов на видеосигналах содержит (фиг.1) блок хранения видеопоследовательности 1, первый вход которого является информационным входом устройства, выход которого подключен к входу блока преобразования RGB в градации серого 2, выход которого подключен к входу блока хранения первого кадра 3.1, первый выход которого подключен к первому входу первого блока вычисления разности 4.1; второй выход блока хранения первого кадра 3.1 подключен к входу первого блока задержки 3.2, выход которого подключен к входу блока хранения второго кадра 3.3, первый выход которого подключен ко второму входу первого блока вычисления разности 4.1; второй выход блока хранения второго кадра 3.3 подключен к первому входу второго блока вычисления разности 4.2; третий выход блока хранения второго кадра 3.3 подключен к входу второго блок задержки 3.4, выход которого подключен к входу блока хранения третьего кадра 3.5, выход которого подключен ко второму входу второго блока вычисления разности 4.2, выход которого подключен к входу второго блока бинаризации 5.2, выход которого подключен к входу второго блока удаления объектов небольшой площади 6.2, выход которого подключен к входу второго блока хранения 7.2, первый выход которого подключен к входу второго блока вычисления дисперсии 8.2, второй выход второго блока хранения 7.2 подключен к первому входу второго блока сравнения 9.2, выход второго блока вычисления дисперсии 8.2 подключен ко второму входу второго блока сравнения 9.2; выход первого блока вычисления разности 4.1 подключен к входу первого блока бинаризации 5.1, выход которого подключен к входу первого блока удаления объектов небольшой площади 6.1, выход которого подключен к входу первого блока хранения 7.1, первый выход которого подключен к входу первого блока вычисления дисперсии 8.1, второй выход первого блока хранения 7.1 подключен к первому входу первого блока сравнения 9.1, выход первого блока вычисления дисперсии 8.1 подключен ко второму входу первого блока сравнения 9.1; к третьему входу первого и второго блока сравнения подключен выход блока порогового значения 10; выход первого блока сравнения 9.1 подключен к входу первого блока разрастания областей 11.1, выход которого подключен к первому входу блока «исключающее или» 12; выход второго блока сравнения 9.2 подключен к входу второго блока разрастания областей 11.2, выход которого подключен к второму входу блока «исключающее или» 12, выход которого подключен к входу блока хранения маски с обнаруженными дефектами 13, выход которого является информационным выходом устройства; синхронность работы устройства обеспечивается генератором тактовых импульсов 14.

Устройство обнаружения дефектов на видеосигналах работает следующим образом. Кадры видеосигнала последовательно поступают с выхода блока хранения видеопоследовательности 1 на вход блока преобразования RGB в градации серого 2, в котором происходит преобразование цветного кадра в градации серого, далее записываются три последовательных кадра видеопоследовательности в блоки хранения первого кадра 3.1, второго кадра 3.3, третьего кадра 3.5 с помощью блоков задержки 3.2 и 3.3. В блоки 4.1 и 4.2 записываются вычисленные разностные изображения между кадрами из блоков 3.1 и 3.3, 3.3 и 3.5 соответственно. В блоках 5.1 и 5.2 полученные разностные изображения бинаризуются, что дает возможность получить предварительную маску с дефектами. Далее в блоках 6.1 и 6.2 происходит анализ полученных предварительных масок дефектов, и удаляются все объекты небольшой площади менее 0,7% от размера исходного кадра, данная операция позволяет удалить часть ложных срабатываний, связанных с появлением мелких дефектов от шлейфа движения. В блоках 7.1 и 7.2 хранятся маски с предварительными результатами детектирования дефектов, которые поступают на входы блоков 8.1 и 8.2, в которых вычисляется дисперсия на смежных кадрах относительно предварительных масок, в тех местах кадров, где на маске обнаружены предварительные дефекты. Вычисленная дисперсия сравнивается в блоке 9.1 и 9.2 с порогом, который хранится в блоке 10. В блоках 11.1 и 11.2 над объектами из предварительной маски выполняются морфологические операции разрастания и смыкания. Полученные маски поступают на входы блока 12 «исключающее или», в котором с помощью логической операции анализируются два обработанных разностных кадра, в итоге получается результирующая маска дефектов, которая хранится в блоке 13. Синхронность работы устройства обеспечивается генератором тактовых импульсов 14.

Технический результат - обнаружение положения дефектов на видеосигналах в условиях недостаточной априорной информации о статистических характеристиках аддитивного шума и функции полезной составляющей.

Изобретение относится к области вычислительной техники и может быть использовано в системах анализа и обработки видеопоследовательности, цифровом телевидении. Техническим результатом является обнаружение положения дефектов на видеосигналах в условиях недостаточной априорной информации о статистических характеристиках аддитивного шума и функции полезной составляющей. В способе обнаружения дефектов на видеосигналах анализируют разностные изображения соседних кадров. Затем к разностным изображениям соседних кадров применяют операции бинаризации, разрастания и смыкания. В полученных массивах анализируются ненулевые значения, для которых на исходных кадрах принимается решения о дефектности по дисперсии исходных значений. 2 н.п. ф-лы, 1 ил.

1. Способ обнаружения дефектов на видеосигналах, заключающийся в анализе разностных кадров видеопоследовательности, отличающийся тем, что к разностным изображениям соседних кадров применяются операции бинаризации, разрастания и смыкания, в полученных массивах анализируются ненулевые значения, для которых на исходных кадрах принимается решения о дефектности по дисперсии исходных значений.

2. Устройство обнаружения дефектов на видеосигналах, содержащее блок хранения видеопоследовательности, первый вход которого является информационным входом устройства, блок преобразования RGB в градации серого, блок хранения первого кадра, блок хранения второго кадра, блок хранения третьего кадра, выход блока хранения видеопоследовательности подключен к входу блока преобразования RGB в градации серого, выход которого подключен к входу блока хранения первого кадра, отличающееся тем, что первый выход блока хранения первого кадра подключен к первому входу первого блока вычисления разности; второй выход блока хранения первого кадра подключен к входу первого блока задержки, выход которого подключен к входу блока хранения второго кадра, первый выход которого подключен ко второму входу первого блока вычисления разности; второй выход блока хранения второго кадра подключен к первому входу второго блока вычисления разности; третий выход блока хранения второго кадра подключен к входу второго блок задержки, выход которого подключен к входу блока хранения третьего кадра, выход которого подключен ко второму входу второго блока вычисления разности, выход которого подключен к входу второго блока бинаризации, выход которого подключен к входу второго блока удаления объектов небольшой площади, выход которого подключен к входу второго блока хранения, первый выход которого подключен к входу второго блока вычисления дисперсии, второй выход второго блока хранения подключен к первому входу второго блока сравнения, выход второго блока вычисления дисперсии подключен ко второму входу второго блока сравнения; выход первого блока вычисления разности подключен к входу первого блока бинаризации, выход которого подключен к входу первого блока удаления объектов небольшой площади, выход которого подключен к входу первого блока хранения, первый выход которого подключен к входу первого блока вычисления дисперсии, второй выход первого блока хранения подключен к первому входу первого блока сравнения, выход первого блока вычисления дисперсии подключен ко второму входу первого блока сравнения; к третьим входам первого и второго блоков сравнения подключен выход блока порогового значения; выход первого блока сравнения подключен к входу первого блока разрастания областей, выход которого подключен к первому входу блока «исключающее или»; выход второго блока сравнения подключен к входу второго блока разрастания областей, выход которого подключен к второму входу блока «исключающее или», выход которого подключен к входу блока хранения маски с обнаруженными дефектами, выход которого является информационным выходом устройства; синхронность работы устройства обеспечивается генератором тактовых импульсов.