Способ устранения избыточности при сжатии последовательности изображений Российский патент 2018 года по МПК H04N19/50 H04N19/13 H04N19/117 G06T7/44 

Область техники изобретения

Настоящее изобретение относится к области обработки данных изображений, точнее к сжатию изображений с помощью кодирования данных. В аппаратной реализации заявленное изобретение может использоваться в различных системах хранения данных для предобработки получаемых на входе системы последовательности цифровых данных (изображений) от видеокамеры или от медицинского сканера. Предлагаемый способ получает на вход последовательность байт, содержащую информацию о паре изображений, и возвращает массив данных той же размерности с устраненной избыточностью. Далее поученный массив данных может быть подан на вход кодировщика для их сжатия. Степень сжатия получаемых с помощью предложенного способа данных при последующем применении алгоритмов сжатия существенно выше нежели степень сжатия исходных данных. При этом массив данных исходной последовательности изображений может быть абсолютно точно (без потерь) восстановлен по данным выхода алгоритма.

Уровень техники изобретения

В системах хранения данных применяются различные способы их сжатия. Типовым подходом является применение способов устранения пространственной или временной избыточности (декорреляции данных) с последующим применением энтропийного кодировщика. Для устранения имеющейся информационной избыточности могут применять следующие способы: способ разложения изображения по заданному базису 3D-DWT (RU 2342704); способ оценки и компенсации движения (RU 2335861 С2), применяемые в стандарте сжатия видеопоследовательностей Н.264, способы расчета взвешенного предсказания (RU 2479939).

Алгоритм разложения изображений по заданному базису 3D-DWT (Mehrseresht N., Taubam D. "An Efficient content adaptive motion-compensated 3D-DWT with enchanced spatial and temporal scalability", IEEE Transactions on Image processing, VOL. 15, No. 6, JUNE 2006). На реализацию данного алгоритма оформлен патент на изобретение (RU 2342704). Реализация данного алгоритма позволяет выполнять декоррелирующее преобразование над трехмерными блоками данных, составленными из значений с нескольких изображений. Данное преобразование, в отличие от предлагаемого способа, не учитывает присутствие шумовой составляющей в данных обрабатываемых изображений. Также для эффективной работы данный способ требует наличие данных от нескольких ранее обработанных изображений, в то время как для выполнения предлагаемого способа требуются данные только с предыдущего обработанного изображения.

Способ оценки и компенсации движения (RU 2335861 C2), применяемый в стандарте сжатия видеопоследовательностей Н.264 ("The Н.264 Advanced Video Compression Standard", lain E. Richardson, ISBN: 978-0-470-51692-8, 2010). Данный способ предполагает разделение цифрового изображения на непересекающиеся блоки заданного размера. Далее, для каждого блока в текущем обрабатываемом изображении находят наиболее похожий на него блок в ранее обработанном изображении в пределах заданного поиска. Процедура компенсации движения предполагает устранение избыточности за счет взятия разности между рассматриваемым блоком и найденным. При этом информация о координатах найденного наиболее похожего блока кодируется и так же передается для возможности проведения процедуры декодирования. Данный способ позволяет устранять имеющуюся между изображениями избыточность, но при этом имеет следующие недостатки по сравнению с предлагаемым способом: учитывает зависимость текущего пикселя только от одного пикселя в ранее обработанном кадре, не учитывает наличие шумовой составляющей и имеет большую вычислительную сложность за счет необходимости оценки движения для каждого обрабатываемого блока данных.

Наиболее близким к заявляемому изобретению является "Способ кодирования и декодирования видеосигнала с использованием взвешенного предсказания и устройство для его осуществления", описанный в патентной заявке (RU 2479939). Для устранения информационной избыточности в описанном изобретении предлагается формирование предсказанного изображения на основе взвешенной суммы набора значений и формирования разностного изображения путем вычитания предсказанного изображения из базового (обрабатываемого). Для формирования предсказанного изображения могут использоваться комбинация данных из базового изображения, предыдущего обработанного (изображения отстающего опорного кадра) и последующего изображения (опережающего опорного кадра) в последовательности. Предсказанное изображение формируют на основе взвешенной суммы имеющихся данных. Взвешенный коэффициент рассчитывают для блока данных заданного размера с помощью вычисления частной производной. Недостатком описанного способа по сравнению с предлагаемым в данном изобретении является вычисление взвешенного коэффициента по блоку заданного размера, вследствие чего в случае выбора большого размера для блока данный способ будет использовать большое количество значений без учета различного уровня зависимости между значениями, удаленными друг от друга на разное расстояние. При взятии блока малого размера будут учтены значения только наиболее близких значений. В предлагаемом в данной заявке изобретении при формировании предсказанного изображения и расчете весовых коэффициентов учитывается зависимость от всех ранее обработанных данных с учетом изменения зависимости между обрабатываемыми значениями от расстояния между ними. Главным недостатком данного изобретения по сравнению с предлагаемым способом является игнорирование наличия шумовой составляющей в обрабатываемых данных при формировании предсказанного изображения.

Раскрытие изобретения

Заявляемое изобретение применяется к такому классу данных, как цифровые изображения. Цифровые изображения содержат в себе визуальную информацию в виде набора пикселей - неделимых объектов прямоугольной или круглой формы, характеризующихся определенным цветом или яркостью. Предлагаемый способ позволяет устранять имеющуюся информационную избыточность между парой цифровых изображений, что позволяет повысить их степень сжатия при последующем применении энтропийного кодировщика. Для устранения данной избыточности может использоваться следующий подход: формирование взвешенного предсказанного изображения на основе значений из текущего обрабатываемого и ранее обработанного изображений, формирование разностного кадра путем вычитания из значений исходного изображения значений сформированного взвешенного предсказанного изображения.

В качестве отличительных особенностей предлагаемого способа можно выделить учет изменения уровня зависимости рассматриваемого пикселя изображения и множества значений из предыдущего обработанного изображения и учет наличия шумовой составляющей в ранее обработанном изображении.

Технический результат заключается в повышении степени сжатия изображения. Особенно эффективно данное решение по сравнению с аналогами при обработке зашумленных изображений, в частности медицинских 3D изображений, получаемых от медицинского сканера.

Предлагаемый способ устранения имеющейся информационной избыточности между данными пары цифровых изображений характеризуется тем, что первоначально для каждого пикселя из ранее обработанного изображения применяют шумоподавляющий фильтр. Затем для каждого пикселя текущего обрабатываемого изображения вычисляют его предсказание как взвешенную сумму фильтрованных пикселей из ранее обработанного изображения и уже обработанных пикселей текущего изображения, адаптивно обновляют весовые коэффициенты за счет использования метода их адаптации из алгоритма ALCM, что позволяет предлагаемому способу адаптироваться к изменяющейся пространственной зависимости и зависимости, имеющейся между изображениями из обрабатываемой последовательности. Далее вычисляют разность между каждым пикселем и его предсказанием.

В частном случае, при выполнении шумоподавляющей фильтрации пикселей предыдущего изображения, применяют билатеральную фильтрацию, в соответствии с которой значение фильтрованного пикселя вычисляют как взвешенную сумму окружающих его пикселей, а значения весов вычисляют как произведение пространственной и ранговой весовых функций.

В частности, при билатеральной фильтрации, выполняемой для каждого пикселя предыдущего изображения, в качестве ранговой функции используют характеристическую функцию.

При билатеральной фильтрации, выполняемой для каждого пикселя предыдущего изображения, в качестве пространственной весовой функции в одном случае используют Гауссову двумерную функцию с нулевым математическим ожиданием.

При билатеральной фильтрации, выполняемой для каждого пикселя предыдущего изображения, в качестве пространственной весовой функции в другом случае используют равномерную двумерную функцию распределения с увеличенным центральным значением, являющимся параметром модели.

При вычислении предсказания, выполняемом для каждого пикселя текущего изображения, в одном случае используют значение одного фильтрованного пикселя предыдущего обработанного изображения с той же позицией в предыдущем изображении, что и у пикселя в текущем обрабатываемом изображении, для которого вычисляется предсказание.

При вычислении предсказания, выполняемом для каждого пикселя текущего изображения, в другом случае используют значения пяти фильтрованных пикселей предыдущего обработанного изображения, один из которых берут с той же позиции в предыдущем изображении, что и у пикселя в текущем обрабатываемом изображении, для которого вычисляется предсказание, а остальные четыре фильтрованных пикселя берут с позиций в предыдущем изображении, ближайших к позиции уже выбранного фильтрованного пикселя.

При вычислении предсказания, выполняемом для каждого пикселя текущего изображения, в третьем случае используют значения девяти фильтрованных пикселей предыдущего обработанного изображения, один из которых берут с той же позиции в предыдущем изображении, что и у пикселя в текущем обрабатываемом изображении, для которого вычисляется предсказание, а остальные восемь фильтрованных пикселя берут с позиций в предыдущем изображении, ближайших к позиции уже выбранного фильтрованного пикселя.

При вычислении предсказания, выполняемом для каждого пикселя текущего изображения, используют значения шести уже обработанных пикселей из текущего обрабатываемого изображения с позиций в изображении, ближайших к позиции текущего обрабатываемого пикселя.

Описание чертежей полезной модели

Заявленное изобретение поясняется прилагаемыми рисунками.

На Фиг. 1 представлена общая схема выполнения предложенного изобретения.

На Фиг. 2 представлена схема формирования ошибок предсказания.

На Фиг. 3 представлен рисунок, демонстрирующий набор доступных значений, используемых при вычислении предсказания.

Осуществление изобретения

Предложенный способ применяется для устранения информационной избыточности между данными пары цифровых изображений, состоящей из данных уже обработанного 1 и еще не обработанного 2 изображения (Фиг. 1). Для этого производятся операции над пикселями, из которых состоят рассматриваемые цифровые изображения. Оба изображения могут состоять из одной цветовой компоненты, например черно-белые изображения, или из нескольких компонент 3, 4, 5 в случае цветных изображений (Фиг. 1). Для изображений из цветового пространства RGB этими компонентами будут являться зеленая, красная и синяя соответственно. В таком случае данные цветовые компоненты будут обрабатываться независимо друг от друга.

Для каждого пикселя текущего обрабатываемого изображения на основе значений уже обработанных пикселей формируют ошибку предсказания 6 (Фиг. 1), которая представляет собой разницу между значением яркостной составляющей пикселя и взвешенным предсказанным значением пикселя. Далее получаемые ошибки предсказания могут сжиматься кодировщиком 7. В качестве процедуры кодирования может использоваться способ, описанный в одном из известных стандартов сжатия (смотри схему кодирования из стандарта сжатия изображений JPEG-LS).

Для формирования ошибки предсказания берут набор значений из ранее обработанного изображения и фильтруют их с помощью алгоритма билатеральной фильтрации 8 (Фиг. 2). Результат билатеральной фильтрации I_ƒ вычисляют как взвешенную сумму значений пикселей цифрового изображения согласно следующей формуле:

где W_N - сумма весов, применяемая для нормализации значений;

N_ƒ - множество позиций, значения с которых используются для алгоритма фильтрации;

ƒ_s(.,.) - пространственная весовая функция;

ƒ_r(.,.) - ранговая весовая функция.

В качестве ранговой функции применяют характеристическую функцию, вычисляемую по следующей формуле:

где Tr - заданное пороговое значение.

В первом варианте осуществления процедуры фильтрации в качестве пространственной функции используют Гауссову двумерную функцию с нулевым математическим ожиданием, задаваемою формулой:

где σ_x и σ_y - параметры Гауссова распределения.

Во втором варианте осуществления процедуры фильтрации в качестве пространственной функции используют равномерную двумерную функцию распределения с увеличенным центральным значением с вычисляемой по следующей формуле:

где с - коэффициент, увеличивающий вес центрального элемента.

В первом варианте осуществления процедуры предсказания из предыдущего обработанного изображения берут одно значение пикселя с позиции, обозначенной на Фиг. 3 буквой N^(пред.)={X}, и фильтруют его с помощью алгоритма билатеральной фильтрации.

Во втором варианте осуществления процедуры предсказания из предыдущего обработанного изображения берут пять значений пикселей с позиций, обозначенных на Фиг. 3 буквами N^(пред.)={X,В,D,F,Н}, и фильтруют их с помощью алгоритма билатеральной фильтрации.

В третьем варианте осуществления процедуры предсказания из предыдущего обработанного изображения берут девять значений пикселей, обозначенных на Фиг. 3 буквами N^(пред.)={X,A,B,C,D,E,F,G,H}, и фильтруют их с помощью алгоритма билатеральной фильтрации.

После процедуры билатеральной фильтрации 8 (Фиг. 2) для вычисления предсказания значения текущего обрабатываемого пикселя вычисляют взвешенную сумму 9 (Фиг. 2) по полученным значениям с уже обработанного изображения и множеству уже обработанных значений из текущего обрабатываемого изображения. Множество уже обработанных значений из текущего обрабатываемого изображения состоит из позиций, обозначенных на рисунке Фиг. 3 буквами N^{(текущ.)}={А,В,С,D,WW,NWW}. Процедуру взвешенного суммирования 9 (Фиг. 2) производят по следующей формуле:

где N^(пред.) - множество соседних позиций пикселей в предыдущем обработанном изображении, значения с которых фильтруются и используются в предсказании;

N^{(текущ.)} - множество соседних позиций пикселей в текущем обрабатываемом изображении, значения с которых используются в предсказании.

I^(k)(i,j) - значение интенсивности пикселя с i-й строки и с j-го столбца с k-го изображения;

- весовой коэффициент для значения пикселя с позиции .

Изначальное значение весовых коэффициентов, равных друг другу, вычисляют по следующей формуле:

где |N^(k)| - мощность множества используемых соседних позиций пикселей из k-го изображения.

Полученное предсказанное значение текущего обрабатываемого пикселя вычитают 10 (Фиг. 2) из его оригинального значения и формируют тем самым ошибку предсказания:

После формирования каждой ошибки предсказания обновляют веса 11 (Фиг. 2), используемые во взвешенном суммировании 9 (Фиг. 2), согласно процедуре обновления весов из алгоритма предсказания ALCM. Данная процедура производится известными методами.

Изобретение относится к технологиям обработки изображений. Техническим результатом является расширение арсенала технических средств по устранению информационной избыточности между данными пары цифровых изображений. Предложен способ устранения информационной избыточности между данными пары цифровых изображений. Согласно способу, получают данные пары цифровых изображений в виде набора пикселей, для каждого пикселя из ранее обработанного изображения применяют шумоподавляющий фильтр. Для каждого пикселя текущего обрабатываемого изображения вычисляют его предсказание как взвешенную сумму фильтрованных пикселей из ранее обработанного изображения и уже обработанных пикселей текущего изображения. Адаптивно обновляют весовые коэффициенты за счет использования метода их адаптации из алгоритма ALCM. Вычисляют разность между каждым пикселем и его предсказанием. 8 з.п. ф-лы, 3 ил.

1. Способ устранения информационной избыточности между данными пары цифровых изображений, характеризующийся тем, что первоначально получают данные пары цифровых изображений в виде набора пикселей, для каждого пикселя из ранее обработанного изображения применяют шумоподавляющий фильтр;

для каждого пикселя текущего обрабатываемого изображения вычисляют его предсказание как взвешенную сумму фильтрованных пикселей из ранее обработанного изображения и уже обработанных пикселей текущего изображения;

адаптивно обновляют весовые коэффициенты за счет использования метода их адаптации из алгоритма ALCM;

вычисляют разность между каждым пикселем и его предсказанием.

2. Способ по п. 1, характеризующийся тем, что при шумоподавляющей фильтрации пикселей предыдущего изображения применяют билатеральную фильтрацию, в соответствии с которой значение фильтрованного пикселя вычисляют как взвешенную сумму окружающих его пикселей, а значения весов вычисляют как произведение пространственной и ранговой весовых функций.

3. Способ по п. 2, характеризующийся тем, что при билатеральной фильтрации, выполняемой для каждого пикселя предыдущего изображения, в качестве ранговой функции используют характеристическую функцию.

4. Способ по п. 2, характеризующийся тем, что при билатеральной фильтрации, выполняемой для каждого пикселя предыдущего изображения, в качестве пространственной весовой функции используют Гауссову двумерную функцию с нулевым математическим ожиданием.

5. Способ по п. 2, характеризующийся тем, что при билатеральной фильтрации, выполняемой для каждого пикселя предыдущего изображения, в качестве пространственной весовой функции используют равномерную двумерную функцию распределения с увеличенным центральным значением, являющимся параметром модели.

6. Способ по п. 1, характеризующийся тем, что при вычислении предсказания, выполняемом для каждого пикселя текущего изображения, используют значение одного фильтрованного пикселя предыдущего обработанного изображения с той же позицией в предыдущем изображении, что и у пикселя в текущем обрабатываемом изображении, для которого вычисляется предсказание.

7. Способ по п. 1, характеризующийся тем, что при вычислении предсказания, выполняемом для каждого пикселя текущего изображения, используют значения пяти фильтрованных пикселей предыдущего обработанного изображения, один из которых берут с той же позиции в предыдущем изображении, что и у пикселя в текущем обрабатываемом изображении, для которого вычисляется предсказание, а остальные четыре фильтрованных пикселя берут с позиций в предыдущем изображении, ближайших к позиции уже выбранного фильтрованного пикселя.

8. Способ по п. 1, характеризующийся тем, что при вычислении предсказания, выполняемом для каждого пикселя текущего изображения, используют значения пяти фильтрованных пикселей предыдущего обработанного изображения, один из которых берут с той же позиции в предыдущем изображении, что и у пикселя в текущем обрабатываемом изображении, для которого вычисляется предсказание, а остальные четыре фильтрованных пикселя берут с позиций в предыдущем изображении, ближайших к позиции уже выбранного фильтрованного значения.

9. Способ по п. 1, характеризующийся тем, что при вычислении предсказания, выполняемом для каждого пикселя текущего изображения, используют значения шести уже обработанных пикселей из текущего обрабатываемого изображения с позиций в изображении, ближайших к позиции текущего обрабатываемого пикселя.