Устройство сжатия изображений на основе метода реконструкции пикселей Российский патент 2021 года по МПК G06T9/00 G06T1/40 G06F17/17 

Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах, глобальных системах позиционирования и наблюдения.

Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал (фиг. 1), где - доступные пиксели неискаженного изображения, - область изображения с отсутствующими пикселями, - граница области .

Основная решаемая задача - сжатие изображений на основе метода реконструкции пикселей.

Задача эффективного сжатия данных всегда была одной из самых актуальных, а с развитием компьютерной, цифровой техники и Интернет она приобрела еще большее значение. Так, с начала 1980-х гг. было разработано множество алгоритмов, направленных на эффективное сжатие цифровых изображений для их передачи и хранения. Существует множество методов сжатия данных. Существуют алгоритмы сжатия с потерями и без потерь. Недостатком методов сжатия без потерь является то, что коэффициент сжатия очень мал. Недостатком методов сжатия с потерями является то, что на изображении появляются артефакты в виде блочной текстуры, засвеченные блоки (белые блоки). В современных методах сжатия используются методы восстановления. В настоящее время существуют различные методы, направленные на решение задач восстановления частично утерянных участков изображения, но для их эффективного использования необходимы значительные объемы априорной информации о полезном изображении. Значительные ограничения на объем априорной информации, что имеет место на практике, существенно усложняют как выбор эффективного метода обработки, так и его значений оптимальных параметров.

Упрощенно способы реконструкции значений пикселей изображений можно разделить на следующие группы:

1) Способы на основе решения дифференциальных уравнений.

2) Способы на основе ортогональных преобразований.

3) Способы на основе синтеза текстур.

4) Способы на основе нейронной сети.

Анализ существующих способов обработки показывает, что область их использования, в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов реконструкции значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных способов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования способов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Так же следует отметить, что данные способы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам. Применение способов на основе синтеза текстур требует априорной информации о размере и формы области восстановления и геометрических свойствах изображения для выбора параметров способов.

Известно цифровое сглаживающее устройство с предварительным обнаружением и устранением аномальных измерений [Патент RU № 2010325, МПК G06F 15/353, опубл. 06.02.1991]. Данное устройство содержит первый сумматор, счетчик отсчетов, первый и второй дешифраторы, первый и второй элемент И, элемент ИЛИ, триггер, блок задания коэффициента деления, первый регистр и второй сумматор, второй регистр, третий дешифратор, счетчик аномальных измерений, блок выделения модуля, схема сравнения, третий элемент и генератор тактовых импульсов.

Недостатками известного способа и устройства его реализующего являются:

- процедура обнаружения не эффективна в случае обработки групповых аномальных значений;

- необходимо априорное знание допустимого значения строба .

Известно устройство по способу выделения объекта на изображении на основе решения уравнений Пуассона (Poisson matting for images) [Patent USA № 7636128], которое содержит блок хранения изображения, блок задания глобальной маски для решения уравнений Пуассона, блок задания локальной маски для решения уравнений Пуассона, блок принятия решений о проверке корректности полученной маски, блок ручного уточнения полученной маски.

Недостатком известного способа является применение локальных фильтров, исправляющее вручную окончательный результат с помощью решения локальных уравнений Пуассона, что не позволяет получить эффективной автоматизированной системы обработки.

Известен способ восстановления изображений на основе заполнения похожими областями и устройство его реализующее (Image region filling by exemplar-based inpainting) [Patent USA №11/095,138, №10/453,404]. Устройство содержит: блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок поиска подобия, блок заполнения изображения.

На первом шаге вычисляется приоритет для каждого пикселя границы, который состоит из двух множителей:

(3)

,

где - текущий пиксель на границе доступных пикселей;

- данные доверия;

- данные градиента;

- количество пикселей квадратного блока с центром в пикселе ;

- вектор, ортогональный градиенту в точке ;

- вектор, ортогональный границе в точке ;

- нормированный множитель, для черно-белых изображений равен 255.

Вначале предполагается, что значение данных доверия для пикселей из области равно 1, а для области равно 0.

Вычисление приоритета с помощью выражения (3) позволяет придать больший вес пикселям, находящимся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет данных доверия позволяет присваивать меньший вес восстановленным пикселям при увеличении дистанции от доступных пикселей из области .

На втором шаге находится блок в области доступных пикселей , для которого евклидова норма минимальна:

(4)

Значения пикселей из найденного блока копируются в области . Данные доверия для восстановленных пикселей присваиваются равным текущему значению . Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.

Недостатками известного устройства являются:

- видимость границ на восстановленном изображении между найденными похожими блоками;

- неправильное восстановление при отсутствии похожего блока;

- зависимость эффективности восстановления от выбора размера блока.

Наиболее близким к изобретению является устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети [Патент № 2730215, МПК G06F 17/17, G06T 11/00, G06N 3/02, опубл. 20.08.2020]. Рассматриваемое устройство - прототип предполагает:

1) записываются значения входного изображения , ;

2) определяется значение коэффициента доверия , , ;

3) вычисляется значение приоритета для каждого значения пикселя границы , где ;

4) определяется пиксель с максимальным значением приоритета на границе ;

5) для пикселя с максимальным значением приоритета на границе с помощью способа инверсий адаптивно определяется форма области для поиска подобия;

6) вычисляется евклидова метрика для всех доступных значений пикселей изображения , ,;

7) количество блоков подобия определяется с помощью доверительного интервала:

,

где: ; - уровень значимости.

8) значения пикселей в области смежные к пикселю с максимальным приоритетом восстанавливаются путем усреднения соответствующих пикселей из найденных областей в области доступных пикселей с помощью нейронной сети.

9) коэффициент доверия для восстановленных пикселей присваивается равным текущему значению . После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.

Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения.

Недостатками известного устройства-прототипа являются:

- может быть использовано только для восстановления отсутствующих пикселей, а не сжатия изображений.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- отсутствие кодера и части блоков в декодере.

Техническим результатом является повышение коэффициента сжатия изображений с минимальной потерей качества.

Достигается технический результат за счет того, что устройство сжатия изображений на основе метода реконструкции пикселей содержит блок хранения изображения, блок удаления однородных областей на изображении, блок дискретного косинусного преобразования, блок обратного дискретного косинусного преобразования, блок хранения изображения с удаленными областями, блок хранения маски, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения.

На Фиг. 1 представлена упрощенная математическая модель изображения.

На Фиг. 2 представлены примеры удаления однородных блоков на изображении.

На Фиг. 3 представлено построение ортогональных векторов.

На Фиг. 4 представлен адаптивный выбор формы области для поиска подобия.

На Фиг. 5 представлен поиск похожих блоков.

На Фиг. 6 представлена структура нейронной сети.

На Фиг. 7 представлен оригинальный блок с удаленным пикселем и пять похожих блоков.

На Фиг. 8 представлена схема обучения нейронной сети.

На Фиг. 9 представлена блок схема устройство сжатия изображений на основе метода реконструкции пикселей.

Устройство сжатия изображений на основе метода реконструкции пикселей содержит блок хранения изображения 1, вход которого является информационным входом устройства, выход которого подключен к входу блока удаления однородных областей на изображении 2, первый выход которого подключен к входу блока дискретного косинусного преобразования 3, выход которого подключен к входу блока обратного дискретного косинусного преобразования 4, выход которого подключен к первому входу блока хранения изображения с удаленными областями 6; второй выход блока удаления однородных областей на изображении 2 подключен к входу блока хранения маски 5, выход которого подключен к третьему входу блока хранения изображения с удаленными областями 6, второй выход которого подключен к входу блока хранения пикселей 7, выход которого подключен к входу блока создания словаря 8, выход которого подключен к входу блока хранения словаря 9, выход которого подключен ко второму входу блока поиска подобия 13; третий выход блока хранения изображения с удаленными областями 6 подключен к входу блока обработки 10, выход которого подключен к входу блоку вычисления приоритета 11, выход которого подключен к входу блока определения адаптивной формы 12, выход которого подключен к первому входу блока поиска подобия 13, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети 14, выход которого подключен к входу блока заполнения изображения 15, выход которого подключен ко второму входу блока хранения изображения с удаленными областями 6, первый выход которого является информационным выход устройства.

Предлагаемое устройство реализует следующий алгоритм.

В кодере изображение разбивается на блоки размером 8×8 пикселей. Далее для каждого блока считается мера контраста. Одним из наиболее простых методов описания текстуры является использование моментов гистограммы интенсивностей элементов изображения. Пусть - случайная величина, которая определяет дискретную интенсивность изображения, - соответствующие значения гистограммы. Известно, что -й момент относительно среднего значения определяется формулой

(1)

где - среднее значение яркостей элементов локальной окрестности .

Из выражения (1) следует, что , а . Второй момент, который называется дисперсией и обозначается как , служит для описания текстуры. Он является также мерой контраста интенсивности и применяется для описания однородности поверхностей. В некоторых работах в качестве меры контраста текстуры предложено использовать выражение

(2)

где - дисперсия в окрестности , k=0,8 - коэффициент нормирования. согласно выражению (2) равно нулю для окрестностей с постоянной интенсивностью и единице - для больших значений . Это свойство выражения (2) полностью отвечает требованиям определения локального контраста. Поэтому по аналогии с описанным известным подходом будем использовать в нем меру контраста, которая определяется за выражением (2).

Блоки, которые классифицируются, как однородные (Фиг.2) не используются далее в обработке. Для оставшихся блоков применяется сжатие с помощью дискретно косинусного преобразования.

Двумерное дискретное косинусное преобразование матрицы A с размерами реализуется согласно следующему выражению

(3)

где  и

(4)

В декодере вычисляется обратное дискретное косинусное преобразование. Блоки на изображении, которые были удалены по критерию однородности, восстанавливаются с помощью метода реконструкции изображений.

Для реконструкции на первом шаге вычисляется значение приоритета для каждого значения пикселя границы, который состоит из двух множителей (фиг. 3):

,

,

где: - текущий пиксель на границе доступных пикселей; - коэффициент доверия; - коэффициент градиента; - квадратный блок пикселей с центром в пикселе ; - количество пикселей квадратного блока, вектор, ортогональный градиенту в точке ; - вектор, ортогональный границе в точке ; - нормированный множитель, который для восьми битных изображений равен 255.

Вначале предполагается, что значение коэффициента доверия для пикселей из области равно 1, а для области равно 0.

Вычисление приоритета позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области .

На втором шаге, для пикселя с максимальным значением приоритета на границе с помощью способа инверсий адаптивно определяется форма области для поиска подобия, что позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.

Для формирования адаптивных областей двумерного сигнала для пикселя задаются восемь направлений , в которых определяются интервалы квазистационарности. Условие квазистационарности проверяется с помощью вычисления случайной величины , равной сумме числа инверсий значений пикселей в каждом из направлений двумерного сигнала , , в котором присутствуют доступные пиксели.

Например, сумма числа инверсий для направления 5 равна:

,

,

где , - текущее значение пикселя изображения с координатами (); , - последующие значения пикселей изображения по -ому столбцу (движение в направлении 5), - максимальная длина интервала квазистационарности.

Количество сочетаний, для которых вычисляется сумма инверсий, составляет:

.

Первая альтернатива (убывающий сигнал) принимается, если .

Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид ,

где α - значение ошибки первого рода.

Гипотеза о стационарности сигнала принимается, если

По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1 происходит формирование областей квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой проходящей через две точки:

, ,

где - координаты границы направления h, - координаты границы направления h+1.

Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми, проходящими через границы интервалов квазистационарности, объединяются в одну область .

Для пикселя границы смежного с пикселем , имеющего большее значение , так же определяется адаптивно область с помощью способа инверсий. Каждая из полученных областей является квазистационарной, и они находятся по разные стороны от перепада яркости. Данные области объединяются в одну (фиг. 4), таким образом, определяется область с адаптивными размерами и перепадом яркости.

Определяется пиксель с максимальным значением приоритета на границе и выбирается адаптивная область , принадлежащая данному пикселю, использование которой позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.

На третьем шаге находятся блоки , в области доступных пикселей , для которых евклидова метрика минимальна (фиг. 5):

при этом обозначает порядковые номера подобных блоков, ранжированных по евклидовой метрике.

Количество блоков подобия определяется с помощью доверительного интервала:

,

где ; - уровень значимости.

Значения пикселей в области смежные к пикселю с максимальным приоритетом восстанавливаются путем усреднения соответствующих пикселей из найденных областей в области доступных пикселей с помощью нейронной сети, в качестве нейронной сети был выбран многослойный персептрон.

Коэффициент доверия для восстановленных пикселей присваивается равным текущему значению . После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.

В данном устройстве используется нейронная сеть прямого распространения сигнала для формирования наиболее похожего блока, обученная с помощью алгоритма обратного распространения ошибки (фиг. 6). В качестве функции активации, используется сигмоидальная нелинейная функция (sigmoidal nonlinearity), а именно функция гиперболического тангенса:

где α - параметр наклона сигмоидальной функции активации.

На этапе обучения нейронной сети на вход подавались заранее подготовленные данные: на изображении выделялся блок со случайными координатами, размером 9х9, далее в нем удалялся центральный пиксель и находили пять наиболее похожих блоков на всем изображении сравнивая их по MSE (фиг. 7).

Далее процедура повторялась на тридцати пяти изображениях и было получено 100 000 блоков, они использовались как обучающая последовательность для данной сети.

Данная сеть содержит три слоя: первый слой содержит двадцать нейронов, второй слой содержит также двадцать нейронов, третий слой содержит десять нейронов. В сети создано десять входов, на пяти из них подавались только центральные пиксели в найденных блоках, а на пяти других входов подавались MSE этих блоков (фиг. 8). В качестве выхода использовались центральные пиксели оригинальных блоков.

Устройство сжатия изображений на основе метода реконструкции пикселей работает следующим образом. В кодере, на вход блока хранения изображения 1 поступает изображение. Далее в блоке удаления однородных областей на изображении 2, для каждого блока размером 8×8 считается мера контраста и удаляются однородные блоки. В блоке хранения маски 5 сохраняется маска удаленных блоков, которая далее поступает в декодер на второй вход блока хранения изображения с удаленными областями 6. Для оставшихся блоков в блоке дискретного косинусного преобразования 3 применяется дискретное косинусное преобразование. Далее сжатое изображение поступает в декодер, на вход блока обратного дискретного косинусного преобразования 4. Блоки на изображении, которые были удалены в блоке удаления однородных областей на изображении 2 по критерию однородности, восстанавливаются с помощью метода реконструкции изображений. Доступные пиксели сохраняются в блоке хранения пикселей 7, далее они поступают на вход блока создания словаря 8. Результат формирования словаря сохраняется в блоке хранения словаря 9, полученные двумерные матрицы используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером девять на девять пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. В блоке обработки 10 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения с удаленными областями 6. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 11, в котором вычисляется приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке так же осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 12 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока поиска подобия 13, в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря 9. В блоке поиска подобия 13 так же определяется количество похожих блоков, для которых евклидова метрика не превосходит порогового значения. Данные блоки поступают на вход блока оценки пикселей с помощью нейронной сети 14, в котором происходит формирование усредненной оценки с помощью предварительно обученной нейронной сети. Полученная оценка поступает в блок заполнения изображения 15, который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения с удаленными областями 6 на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор, пока не будут восстановлены все значения в блоке хранения изображения с удаленными областями 6.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении коэффициента сжатия изображений с минимальной потерей качества. Устройство сжатия изображений на основе метода реконструкции пикселей содержит блок хранения изображения, блок удаления однородных областей на изображении, блок дискретного косинусного преобразования, блок обратного дискретного косинусного преобразования, блок хранения маски, блок хранения изображения с удаленными областями, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения. 9 ил.

Устройство сжатия изображений на основе метода реконструкции пикселей, включающее блок хранения изображения с удаленными областями, второй выход которого подключен к входу блока хранения пикселей, выход которого подключен к входу блока создания словаря, выход которого подключен к входу блока хранения словаря, выход которого подключен ко второму входу блока поиска подобия; третий выход блока хранения изображения с удаленными областями подключен к входу блока обработки, выход которого подключен к входу блоку вычисления приоритета, выход которого подключен к входу блока определения адаптивной формы, выход которого подключен к первому входу блока поиска подобия, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети, выход которого подключен к входу блока заполнения изображения, выход которого подключен ко второму входу блока хранения изображения с удаленными областями, первый выход которого является информационным выходом устройства, отличающееся тем, что устройство дополнительно содержит блок хранения изображения, вход которого является информационным входом устройства, выход которого подключен к входу блока удаления однородных областей на изображении, первый выход которого подключен к входу блока дискретного косинусного преобразования, выход которого подключен к входу блока обратного дискретного косинусного преобразования, выход которого подключен к первому входу блока хранения изображения с удаленными областями; второй выход блока удаления однородных областей на изображении подключен к входу блока хранения маски, выход которого подключен к третьему входу блока хранения изображения с удаленными областями.