Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах, автоматизированных системах, глобальных систем позиционирования и наблюдения.
Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал
Реконструкция и ретушь изображений предполагает удаление царапин, пятен, пыли, ненужных надписей, предметов и прочих дефектов с поверхности изображений и восстановление недостающих фрагментов с использованием доступных участков изображения. Одна из таких задач, где применяются методы реконструкции изображений, является восстановление карт глубины. Карта глубины может быть получена с помощью специальной камеры глубины, а также может быть построена по стереопаре изображений. Если высокая точность не требуется или требуется компромисс между ценой и качеством, карта глубины строится при помощи пары стереоизображений. Это повторяет принцип бинокулярного зрения у человека и позволяет отказаться от использования многочисленных и дорогостоящих датчиков, радаров или лидаров. Карта глубины по дальности строиться лишь при помощи двух камер, которые, делая фото, создают стереопару. Система, позволяющая строить карту глубины по дальности на основе стереоизображений, включает в себя пару камер, установленных на одной линии, которая параллельная плоскости изображения, с известными расстояниями между камерами и фокусным расстоянием. Важными факторам при построении карты глубины по дальности являются точность, качество и время создания карты. В большинстве случаев при построении карты глубины на ней появляются потерянные области, которые мешают отличить один объект от другого. Решить эту проблему можно с помощью методов реконструкции изображений.
Упрощенно способы реконструкции значений пикселей изображений можно разделить на следующие группы:
1) Способы на основе решения дифференциальных уравнений в частных производных.
2) Способы на основе ортогональных преобразований.
3) Способы на основе синтеза текстур.
4) Способы на основе работы нейронной сети.
Анализ существующих способов обработки показывает, что область их использования, в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов реконструкции значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных способов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования способов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Так же следует отметить, что данные способы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам. Применение способов на основе синтеза текстур требует априорной информации о размере и формы области восстановления и геометрических свойствах изображения для выбора параметров способов.
Известен способ и устройство для обработки карты глубины [Заявка US № 20100215251 А1]. Данное изобретение используется для обработки карты глубины, причем способ включает восстановление карты глубины на основе сжатой с потерями карты глубины, при этом карта глубины включает в себя подробную информацию сцены из точки зрения сцены, содержащую объект. Устройство позволяет восстанавливать карту глубину при перекрытии объектами части фона. Устройства для обработки карты глубины, содержит блок устранения артефактов сжатия, блок восстановления карты глубины при перекрытии объектами, блок хранения оценки.
Недостатки известного устройства являются:
- большая погрешность при восстановлении контуров и границ объектов на карте глубины;
- априорная информация при выборе параметров метода при устранении артефактов сжатия.
Известно устройство генерирования карты глубины по двум изображениям из разных точек зрения [Заявка US № 20130009952 А1]. Карта глубины восстанавливается из моноскопических исходных изображений и асимметрично сглаживается. Карта глубины содержит значения глубины сосредоточены на краях локальных областей в исходном изображении. Каждое ребро определяется на заданном изображении, параметр, имеющий расчетное значение, превышает заданный порог. Глубина данной величины основана на соответствующих расчетных значениях параметров изображения. Карта глубины используется для обработки исходного изображения по глубине изображения на основе алгоритма рендеринга для создания одного изображения, которое образует с исходным изображением набора моноскопических изображений. По крайней мере, одна пара стереоскопических изображений выбирается из такого набора для использования в создании различных точек зрения, в том числе для неподвижных и движущихся изображений. Устройства для обработки карты глубины содержит блок хранения изображения, блок анализа границ, блок синтезирования карты глубины, блок сглаживания границ, блок сглаживания карты глубины, блок рендеринга 3D изображения, блок отображения 3D изображения.
Недостатками известного устройства являются:
- априорная информация при выборе параметров при расчете границ объектов на изображения;
- восстановление карты глубины только для границ объектов на1 изображении.
Известно устройство восстановления карты глубины сцены [Патент RU 2580466, МПК 06T 15/00, G06F 17/17, опубл. 10.04.2016]. Устройство содержит блок хранения входной реализации, блок хранения цветного изображения, блок поэлементного умножителя, блок определения участков квазистационарности, блок формирования маски, блок вычисления медианной оценки, блок хранения оценки полезной составляющей, блок счетчика текущей строки, блок задержки, блок задержки, блок счетчика текущего столбца, блок хранения карты глубины, блок формирования маски для карты глубины, блок восстановления карты глубины, генератор тактовых импульсов.
Недостатками известного устройства являются:
– видимость границ на восстановленном изображении между найденными похожими блоками;
– неправильное восстановление при отсутствии похожего блока;
– зависимость эффективности восстановления от выбора размера блока.
Известен способ и устройство для заполнения объектов, на основе растеризации изображений (Filling of graphical regions) [Патент USA № 08/053, 212)]. Способ основан на растеризации изображений и включает анализ на пересечение с различными объектами каждого пикселя вдоль растровой строки края области восстановления. Приоритетные пиксели для восстановления определяются исходя из выбранного уровня заполнения данных и одним из множества различных объектов с высоким уровнем приоритетности.
Недостатками известного способа и устройства его реализующего являются:
- априорная информация о структуре изображения и размере области восстановления для выбора параметров способа.
Известен способ восстановления изображений на основе решения дифференциальных уравнений в частных производных [Bertalmio M., Sapiro G., Caselles V., Ballester C. Image inpainting // Computer Graphics Proceedings, K. Akeley, Ed. ACM Press / ACM SIGGRAPH / Addison Wesley Longman, 2000. – P. 417–424.]. Данный способ позволяет соединять контуры постоянной яркости изображений поперек области восстановления с помощью решения дифференциальных уравнений в частных производных, минимизируя выбранный функционал. Направление линий задается с помощью граничных условий на краю области восстановления, которые определяются с помощью выражения:
Дифференциальное уравнение в частных производных имеет решение при условии:
Данное выражение определяет направление продолжение линий с помощью сглаживающего оператора
где
Граничные условия для восстановления изображения состоят в том, чтобы соответствовать интенсивности значений яркости изображения на границе области восстановления, а также направлению линий контуров.
Недостатками известного способа и устройства его реализующего являются:
- сглаживание резких яркостных переходов изображений, что значительно ухудшает визуальное качество восстановленного изображения.
Наиболее близким к изобретению является устройство обработки двумерных сигналов при реконструкции изображений [Патент RU № 2440614, МПК G06T 1/00, G09G 5/36, G06F 17/17, опубл. 20.01.2012]. Рассматриваемое устройство - прототип предполагает:
1) записываются значения входного изображения
2) определяется значение коэффициента доверия
3) вычисляется значение приоритета
4) определяется пиксель
5) для пикселя
6) вычисляется евклидова метрика для всех доступных значений пикселей изображения
7) количество блоков подобия
где
8) значения пикселей в области
9) коэффициент доверия
Устройство для восстановления изображений содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок усреднения пикселей, блок заполнения изображения.
Недостатками известного устройства-прототипа являются:
– неправильное восстановление при отсутствии похожего блока;
– зависимость эффективности восстановления от структуры изображения.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:
– отсутствие похожего блока приводит к неправильному восстановлению, так как замена пикселей происходи на пиксели блока, для которого евклидова метрика минимальна, даже в том случае если она имеет большое значение по абсолютной величине.
Задачей предлагаемого изобретения является восстановления значений пикселей карты глубины на основе работы нейронной сети.
Техническим результатом предлагаемого изобретения является уменьшение погрешности восстановления карты глубины за счет предварительно обученной нейронной сети.
Технический результат достигается за счет того, что устройство содержит блок хранения изображений, полученных со стереопары, блок построения карты глубины, блок обнаружения потерянных областей, блок хранения масок, блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, генератор тактовых импульсов.
На Фиг. 1 представлена упрощенная математическая модель изображения.
На Фиг. 2 представлен принцип работы устройства для построения карты глубины. Определение смещения (а) и корреляционный анализ (б)
На Фиг. 3 изображено построение ортогональных векторов.
На Фиг. 4 представлен адаптивный выбор формы области для поиска подобия.
На Фиг. 5 представлен поиск похожих блоков.
На Фиг. 6 представлена структура нейронной сети.
На Фиг. 7 представлен оригинальный блок с удаленным пикселем и пять похожих блоков.
На Фиг. 8 представлена схема обучения нейронной сети.
На Фиг. 9 представлена блок-схема устройства для восстановления карты глубины с поиском похожих блоков на основе нейронной сети.
Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети содержит блок хранения изображений, полученных со стереопары 1, вход которого является информационным входом устройства, выход которого подключен к входу блока построения карты глубины 2, первый выход которого подключен к первому входу блока хранения изображения 5; второй выход блока построения карты глубины 2 подключен к входу блока обнаружения потерянных областей 3, выход которого подключен к входу блока хранения масок 4, выход которого подключен ко второму входу блока хранения изображения 5, второй выход которого подключен к входу блока хранения пикселей 6, выход которого подключен к входу блока создания словаря 7, выход которого подключен к входу блока хранения словаря 8, выход которого подключен ко второму входу блока поиска подобия 12; третий выход блока хранения изображения 5 подключен к входу блока обработки 9, выход которого подключен к входу блоку вычисления приоритета 10, выход которого подключен к входу блока определения адаптивной формы 11, выход которого подключен к первому входу блока поиска подобия 12, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети 13, выход которого подключен к входу блока заполнения изображения 14, выход которого подключен к третьему входу блока хранения изображения 5, первый выход которого является информационным выход устройства; синхронность работы устройства обеспечивается генератором тактовых импульсов 15.
Устройство реализуют следующий алгоритм.
На первом шаге для каждого пикселя левого изображения с координатами
Собственно, значения глубины обратно пропорциональны величине смещения пикселей. Если использовать обозначения с Фиг. 2а, то зависимость между смещением и глубиной можно выразить следующим способом:
Далее используя пороговое значение определяем потерянные области на полученной карте глубины которые необходимо восстановить и сохраняем маску дефектов.
На втором шаге вычисляется значение приоритета
где
Вначале предполагается, что значение коэффициента доверия
Вычисление приоритета с помощью выражения (2) позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия
На третьем шаге, для пикселя
Для формирования адаптивных областей двумерного сигнала для пикселя
Например, сумма числа инверсий для направления 5 равна:
где
Количество сочетаний, для которых вычисляется сумма инверсий, составляет:
Первая альтернатива (убывающий сигнал) принимается, если
Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид
где α – значение ошибки первого рода.
Гипотеза о стационарности сигнала принимается, если
По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1 происходит формирование областей квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой проходящей через две точки:
где
Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми проходящими через границы интервалов квазистационарности, объединяются в одну область
Для пикселя границы смежного с пикселем
Определяется пиксель
На четвертом шаге, находятся блоки
при этом
Количество блоков подобия
где
Значения пикселей в области
Коэффициент доверия
В данном устройстве используется нейронная сеть прямого распространения сигнала для формирования наиболее похожего блока, обученная с помощью алгоритма обратного распространения ошибки (фиг. 6). В качестве функции активации, используется сигмоидальная нелинейная функция (sigmoidal nonlinearity), а именно функция гиперболического тангенса:
где
На этапе обучения нейронной сети на вход подавались заранее подготовленные данные: на изображении выделялся блок со случайными координатами, размером
Далее процедура повторялась на тридцати пяти изображениях и было получено сто тысяч блоков, они использовались как обучающая последовательность для данной сети.
Данная сеть содержит три слоя: первый слой содержит двадцать нейронов, второй слой содержит так же двадцать нейронов, третий слой содержит десять нейронов. В сети создано десять входов, на пять из них подавались только центральные пиксели в найденных блоках, а на пять других входов подавались MSE этих блоков (фиг. 8). В качестве выхода использовались центральные пиксели оригинальных блоков.
Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети работает следующим образом. На вход блок хранения изображений полученных со стереопары 1 поступают изображения полученные со стереопары, далее они поступают на вход блока построения карты глубины 2, где происходит построение карты глубины, полученная карта глубины поступает на первый вход блока хранения изображения 5 и на второй вход блока обнаружения потерянных областей 3, где используя пороговое значение определяются потерянные области на карте глубины, в блоке хранения масок 4, сохраняются маски найденных дефектов, и поступают на второй вход блока хранения изображения 5. Доступные пиксели сохраняются в блоке хранения пикселей 6, далее они поступают на вход блока создания словаря 7. Результат формирования словаря сохраняется в блоке хранения словаря 8, полученные двумерные матрицы используются далее для восстановления карты глубины. Матрицы создаются путем формирования квадратных блоков размером
название | год | авторы | номер документа |
---|---|---|---|
Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети | 2020 |
|
RU2754965C1 |
Устройство сжатия изображений на основе метода реконструкции пикселей | 2020 |
|
RU2750416C1 |
УСТРОЙСТВО ДЛЯ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ | 2011 |
|
RU2450342C1 |
УСТРОЙСТВО ВОССТАНОВЛЕНИЯ ДВУМЕРНЫХ СИГНАЛОВ НА ОСНОВЕ РЕКОНСТРУКЦИИ ИСКАЖЕННЫХ ПИКСЕЛЕЙ ИЗОБРАЖЕНИЙ | 2014 |
|
RU2582554C1 |
УСТРОЙСТВО ОБРАБОТКИ ДВУМЕРНЫХ СИГНАЛОВ ПРИ РЕКОНСТРУКЦИИ ИЗОБРАЖЕНИЙ | 2010 |
|
RU2440614C1 |
Устройство восстановления папиллярных узоров оптечатка пальца | 2019 |
|
RU2718426C1 |
УСТРОЙСТВО ВОССТАНОВЛЕНИЯ ИСКАЖЕННЫХ ЗНАЧЕНИЙ ПИКСЕЛЕЙ ИЗОБРАЖЕНИЙ | 2014 |
|
RU2580456C1 |
Устройство для реконструкции изображений на основе хэш-функций | 2017 |
|
RU2661534C1 |
УСТРОЙСТВО РЕДАКТИРОВАНИЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ | 2014 |
|
RU2572377C1 |
Устройство для удаления логотипов и субтитров с видеопоследовательностей | 2017 |
|
RU2669470C1 |
Изобретение относится к устройству для восстановления карты глубины с поиском похожих блоков на основе нейронной сети. Технический результат заключается в уменьшении погрешности восстановления карты глубины за счет предварительно обученной нейронной сети. Устройство содержит связанные между собой блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок хранения изображений, полученных со стереопары, блок построения карты глубины, блок обнаружения потерянных областей, блок хранения масок, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, при этом синхронность работы устройства обеспечивается генератором тактовых импульсов. 9 ил.
Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети, содержащее блок хранения изображения, второй выход которого подключен к входу блока хранения пикселей, выход которого подключен к входу блока создания словаря, выход которого подключен к входу блока хранения словаря, выход которого подключен ко второму входу блока поиска подобия, третий выход блока хранения изображения подключен к входу блока обработки, выход которого подключен к входу блока вычисления приоритета, выход которого подключен к входу блока определения адаптивной формы, выход которого подключен к первому входу блока поиска подобия, синхронность работы устройства обеспечивается генератором тактовых импульсов, отличающееся тем, что вход блока хранения изображений, полученных со стереопары, является информационным входом устройства, выход которого подключен к входу блока построения карты глубины, первый выход которого подключен к первому входу блока хранения изображения, второй выход блока построения карты глубины подключен к входу блока обнаружения потерянных областей, выход которого подключен к входу блока хранения масок, выход которого подключен ко второму входу блока хранения изображения, выход блока поиска подобия подключен к входу блока оценки пикселей с помощью нейронной сети, выход которого подключен к входу блока заполнения изображения, выход которого подключен к третьему входу блока хранения изображения, первый выход которого является информационным выходом устройства.
ОБНАРУЖЕНИЕ ТЕКСТОВЫХ ПОЛЕЙ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ | 2018 |
|
RU2699687C1 |
RU 2017144798 A, 24.06.2019 | |||
УСТРОЙСТВО ВОССТАНОВЛЕНИЯ КАРТЫ ГЛУБИНЫ СЦЕНЫ | 2014 |
|
RU2580466C1 |
СПОСОБ ОБУЧЕНИЯ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ ДЛЯ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЯ И СИСТЕМА ДЛЯ ФОРМИРОВАНИЯ КАРТЫ ГЛУБИНЫ ИЗОБРАЖЕНИЯ (ВАРИАНТЫ) | 2018 |
|
RU2698402C1 |
Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
Многоступенчатая активно-реактивная турбина | 1924 |
|
SU2013A1 |
US 5870100 A1, 09.02.1999 | |||
CN 107358576 A, 17.11.2017 | |||
Способ получения цианистых соединений | 1924 |
|
SU2018A1 |
Авторы
Даты
2020-03-12—Публикация
2019-11-18—Подача