СПОСОБ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ МАССИВА НЕОДНОРОДНЫХ ИЗОБРАЖЕНИЙ Российский патент 2022 года по МПК G06V10/30 G06T5/00 

Изобретение относится к области обработки цифровых изображений, в частности, может применяться для выбора наиболее информативных изображений из массива неоднородных, уменьшения искажений с определением на данном изображении семантических объектов, интеллектуального восстановления локальных областей изображения с большими искажениями от информации изображений с меньшим шумом, а также для распределения изображений по классам.

Задача обработки изображений и распознавания характеризуется рядом факторов: внешние, связанные с разными условиями, зависящими от точки наблюдения, освещения, масштаба, перекрытия, сложности фона; внутренние - внутриклассовая изменчивость и деформация (различные формы объекта). В зависимости от вышеперечисленных факторов, для решения задач обработки и распознавания объектов на изображении применяются различные группы методов. При обработке изображений наиболее универсальными характерными признаками являются: форма, яркость (или цвет), текстура и др. Менее различимые для восприятия человеком - это спектральные, гистограммные, корреляционные и другие характеристики.

Методы цветовых/яркостных фильтров можно применять в случаях, когда объект существенно отличается от фона, а освещение равномерно и не изменяется. Отделив такие объекты от фона, можно воспользоваться анализом геометрических признаков для принятия решений о классификации.

Если объект на фоне существенным образом не выделяется или имеет сложную окраску, то применение метода цветовых/яркостных фильтров не обеспечивает хорошего результата. В данном случае более эффективен метод выделения и анализа контуров с резким изменением градиента яркости.

Если изображение имеет множество мелких деталей, то анализ контуров может быть затруднен. В этом случае примяют метод сопоставления с шаблоном. Данный метод применяется для поиска участков изображений, которые наиболее схожи с некоторым заданным шаблоном - конкретным объектом одного класса [1, стр. 6].

Известно устройство обработки цифровых изображений и способ управления им (RU №2599260 С2, 2016 г.), содержащее датчик, выполненный с возможностью обнаружения перемещения устройства обработки цифровых изображений; процессор, выполненный с возможностью: определения перемещения устройства обработки цифровых изображений, того, поворачивается или переворачивается ли устройство обработки цифровых изображений, на основании сигнала обнаружения от датчика; и управления отображением первого и второго содержимого, при этом процессор управляет отдельным отображением первого содержимого или одновременным отображением первого и второго содержимого на основании определения перемещения устройства обработки цифровых изображений.

2. Устройство обработки цифровых изображений по п. 1, в котором процессор дополнительно выполнен с возможностью определения изменения расстояния между устройством обработки цифровых изображений и пользователем.

3. Устройство обработки цифровых изображений по п. 2, в котором, если сокращается расстояние между устройством обработки цифровых изображений и пользователем, когда отдельно отображается первое содержимое, процессор дополнительно выполнен с возможностью выполнения одновременного отображения первого и второго содержимого.

4. Устройство обработки цифровых изображений по п. 2, в котором, если увеличивается расстояние между устройством обработки цифровых изображений и пользователем в то время, когда одновременно отображается первое и второе содержимое, процессор дополнительно выполнен с возможностью выполнения отдельного отображения первого содержимого.

5. Устройство обработки цифровых изображений по п. 1, дополнительно содержащее блок обработки манипуляций, выполненный с возможностью формирования сигнала манипуляции согласно пользовательской манипуляции, при этом в то время, когда одновременно отображаются первое и второе содержимое, отдельное отображение второго содержимого выполняется на основании сигнала манипуляции.

6. Устройство обработки цифровых изображений по п. 1, в котором первое содержимое представляет собой движущееся изображение, а второе содержимое представляет собой неподвижное изображение, снятое в то время, когда снимается движущееся изображение.

7. Устройство обработки цифровых изображений по п. 6, в котором процессор дополнительно выполнен с возможностью воспроизведения первого содержимого с момента времени, когда снято второе содержимое, выбранное пользователем.

8. Устройство обработки цифровых изображений по п. 1, в котором первое содержимое представляет собой движущееся изображение, а второе содержимое представляет собой карту, указывающую местоположение, в котором снято движущееся изображение, в то время, когда снимается движущееся изображение.

9. Устройство обработки цифровых изображений по п. 8, в котором процессор дополнительно выполнен с возможностью выполнения отдельного отображения второго содержимого на основании сигнала манипуляции от пользователя.

10. Способ управления устройством обработки цифровых изображений, содержащий этапы, на которых: обнаруживают перемещение устройства обработки цифровых изображений; определяют перемещение устройства обработки цифровых изображений, то, поворачивается или переворачивается ли устройство обработки цифровых изображений, на основании результата обнаружения; и выбирают режим отображения между отдельным отображением первого содержимого или одновременным отображением первого и второго содержимого на основании определения перемещения.

11. Способ по п. 10, в котором определение перемещения выполняется посредством обнаружения изменения расстояния между устройством обработки цифровых изображений и пользователем.

12. Способ по п. 11, в котором выбор режима отображения содержит этап, на котором преобразуют режим отображения в одновременное отображение первого и второго содержимого, если сокращается расстояние между устройством обработки цифровых изображений и пользователем в то время, когда отдельно отображается первое содержимое.

13. Способ по п. 11, в котором выбор режима отображения содержит этап, на котором преобразуют режим отображения в отдельное отображение первого содержимого, если увеличивается расстояние между устройством обработки цифровых изображений и пользователем в то время, когда одновременно отображаются первое и второе содержимое.

14. Способ по п. 10, в котором: первое содержимое представляет собой движущееся изображение, а второе содержимое представляет собой неподвижное изображение, снятое в то время, когда снимается движущееся изображение, и способ дополнительно содержит этап, на котором: отображают первое содержимое с момента времени, когда снято второе содержимое, выбранное пользователем в то время, когда одновременно отображаются первое и второе содержимое.

15. Способ по п. 10, в котором: первое содержимое представляет собой движущееся изображение, а второе содержимое представляет собой карту, указывающую местоположение, в котором снято движущееся изображение в то время, когда снимается движущееся изображение, и способ дополнительно содержит этап, на котором: преобразуют режим отображения в отдельное отображение второго содержимого на основании сигнала манипуляции от пользователя, когда одновременно отображаются первое и второе содержимое.

Известное устройство обработки цифровых изображений и способ управления им предназначены для обработки цифровых изображений, в неподвижном и движущемся состоянии с отображением первого и второго содержимого изображения.

Недостатком указанного способа является то, что в нем не производится обработка более 45% зашумленного изображения. Обработка проходит процессором CPU, что для изображений больших разрешений с помехи и шумами потребует больших вычислительных затрат. Обработанное изображение всего лишь временно хранится в запоминающем устройстве.

Известен способ интеллектуального выбора ориентиров для повышения точности совмещения при слиянии изображений, полученных различными устройствами (RU №2014 140 480 А, 2016 г.) включающий систему для совмещения изображений, содержащая: модуль выявления признаков изображения, выполненный с возможностью идентификации внутренних ориентиров первого изображения; модуль совмещения и преобразования изображений, выполненный с возможностью вычисления преобразования совмещения с помощью процессора для совмещения второго изображения с первым изображением на основе поверхностных ориентиров с получением в результате совмещенного изображения; и модуль идентификации ориентиров, выполненный с возможностью наложения внутренних ориентиров на второе изображение с помощью преобразования совмещения, окружения каждого из наложенных ориентиров виртуальным объектом для идентификации соответствующих пар ориентиров в совмещенном изображении и совмещения второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами.

2. Система по п. 1, в которой модуль идентификации ориентиров дополнительно выполнен с возможностью совмещения второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами путем преобразования идентифицированных ориентиров в совмещенном изображении во второе изображение с помощью преобразования совмещения.

3. Система по п. 2, в которой модуль идентификации ориентиров дополнительно выполнен с возможностью использования операции, обратной для преобразования совмещения.

4. Система по п. 2, в которой модуль идентификации ориентиров дополнительно выполнен с возможностью совмещения второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами путем нежесткого совмещения второго изображения с первым изображением.

5. Система по п. 1, в которой модуль идентификации ориентиров дополнительно выполнен с возможностью совмещения второго изображения с первым изображением с помощью поверхностных ориентиров и внутренних ориентиров.

6. Система по п. 1, в которой виртуальный объект включает в себя сферу.

7. Система по п. 5, в которой виртуальный объект имеет задаваемые пользователем размеры.

8. Система по п. 1, в которой первое изображение и второе изображение формируются различными устройствами.

9. Способ совмещения изображений, включающий в себя: идентификацию внутренних ориентиров первого изображения; вычисление с помощью процессора преобразования совмещения для совмещения второго изображения с первым изображением на основе поверхностных ориентиров с получением в результате совмещенного изображения; наложение внутренних ориентиров на совмещенное изображение с помощью преобразования совмещения; окружение наложенных ориентиров виртуальным объектом для идентификации соответствующих пар ориентиров в совмещенном изображении; и совмещение второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами.

10. Способ по п. 9, в котором совмещение второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами включает в себя преобразование идентифицированных ориентиров в совмещенном изображении во второе изображение с помощью преобразования совмещения.

11. Способ по п. 10, в котором совмещение второго изображения с первым изображением с помощью совмещенного изображения с идентифицированными ориентирами включает в себя нежесткое совмещение (514) второго изображения с первым изображением.

12. Способ по п. 11, в котором нежесткое совмещение второго изображения с первым изображением включает в себя использование поверхностных ориентиров и внутренних ориентиров.

13. Способ по п. 9, в котором окружение наложенных ориентиров виртуальным объектом включает в себя окружение наложенных ориентиров сферой.

Известный способ предназначен для выявления признаков изображения, выполненный с возможностью идентификации внутренних ориентиров первого изображения с дальнейшим наложением на созданный виртуальный объект.

Недостатком данного способа является то, что не рассматривается параллельно идентификация внутренних ориентиров второго изображения. Сравнение с дальнейшим наложением внутренних ориентиров идет на созданный виртуальный объект, а не на эталонный, который в свою очередь должен иметь ярко выраженные признаки для более точного сравнения и наложения ориентиров.

Наиболее близким по технической сущности к заявленному изобретению является способ улучшений цифровых изображений (RU №2 367 015 С1, 2009 г.). Способ улучшения цифровых изображений, включающий анализ параметров изображения с последующим извлечением яркостной компоненты, построение корректирующего фильтра и корректировку изображения, отличающийся тем, что корректировке подвергают изображения с искажениями, привнесенными предыдущими корректировками, без использования и анализа параметров оригинального изображения, при этом построение корректирующего фильтра производят по усредненному профилю проекции с построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках, корректировку изображения осуществляют, отбирая пиксели изображения в локальной области, примыкающей к граням, исключая при этом пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.

Известный способ предназначен для обработки изображений от искажений, корректировке подвергают изображения с искажениями, привнесенными предыдущими корректировками, без использования и анализа параметров оригинального изображения.

Недостатком данного способа является то, что при обработке изображений от искажений и шумов не представляется возможности сравнения с оригиналом эталоном изображения для более полного осведомления об информативности изображения наглядного устранения искажений для последующего детектирования объектов на изображении с высокой точностью.

Цель изобретения заключается в уменьшении и удалении искажений в массиве неоднородных цифровых изображений с увеличением информативности и повышении точности детектирования объектов целеуказания с дальнейшим сравнением текущих изображений с эталоном.

Требуемый технический результат достигается тем, что при получении массива неоднородных цифровых изображений проводят первоочередную обработку изображений с целью уменьшения процента зашумленности и устранения признаков искажений. Обработку цифровых изображений производят последовательно методами фильтрации, определением границ объекта на зашумленном изображении увеличивая информативность. На обработанном цифровом изображении с помощью работы мультипоточной нейронной сети осуществляют распознавание объектов на изображении, путем разбиения данного обработанного изображения на потоки, где в каждом потоке определяются дескрипторы особых точек изображения методами ORB, BRISK, AKAZE. Работа в несколько потоков обеспечивает увеличения числа дескрипторов особых точек изображения, создавая более точные карты особых признаков объекта. В каждом из потоков после свертки изображения осуществляют пулинг с фильтрующим окном размера 3×3 пикселей с выделением особо ярких признаков и завершается пулингом с размером окна 2×2 пикселей и обратный процесс восстановления изображения до исходного входного размера, после того как свертка достигает максимума 28×28 пикселей.

В способе анализируют соседние пиксели, которые располагаются в прямоугольном окне вокруг выбранного пикселя; осуществляют поиск медианного значения и присваивают это значение пикселу; осуществляют шумоподавление с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытие (closing) и раскрытие (opening); осуществляют многомасштабный анализ изображения; удаляют шум с изображения, не затрагивая значительно границы и детали объектов; выделяют структуру в многомерном массиве данных; задают значение порога для определения границ в данной точке изображения; рассчитывают градиент изображения; определяют пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента; осуществляют подавление группы пикселей с минимальным коэффициентом яркости; вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границ объекта); исключают шум и лишние детали на изображении; уменьшают контурную границу вокруг объекта; объединяют контурную границу вокруг объекта изображения воедино; устанавливают принадлежность распознанного объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном на этапе идентификации графических образов; осуществляют интеллектуальную обработку изображений - запускают алгоритм мультипоточной нейронной сети: осуществляют многократный пулинг в потоках, обеспечивают неоднородную интенсивность свертки пулинга, выделяют карту признаков пулинга, вводят фильтр-окно в блоках Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками, осуществляют свертку входного изображения; осуществляют признаковое описание изображения; осуществляют привязку к локальным особенностям -особым точкам; осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features); распределяют изображения по классам; осуществляют поиск особых точек на нелинейной многомасштабной пирамиде; описывают дескрипторы по трем параметрам; осуществляют обратный процесс восстановления изображения до исходного входного размера, после того как свертка достигает максимума 28×28 пикселей.

Сущность изобретения поясняется структурной схемой, где на фиг. 1 изображены:

1 - блок входящих изображений;

2 - блок линейного усреднения пикселей;

3 - блок медианной фильтрации;

4 - блок математической морфологии;

5 - блок Гауссовского размытия;

6 - блок методов на основе вейвлет-преобразования;

7 - блок метода главных компонентов;

8 - блок анизотропной диффузии;

9 - блок двойной пороговой фильтрации;

10 - блок подавления группы пикселей с минимальным коэффициентом яркости;

11 - блок поиск границ Собеля (градиентный подход);

12 - блок детектирования границ оператором Кении;

13 - блок идентификации динамических объектов;

14 - блок мультипоточной нейронной сети;

15 - блок BRISK;

16 - блок метода ORB;

17 - блок метода AKAZE;

18 - блок-счетчик DISCRIPTION;

19 - блок карты признаков;

20 - блок сравнения изображений;

21 - блок эталонных изображений;

22 - блок вывода изображения.

Изобретение работает следующим образом:

В блок входящих изображений 1 одновременно и/или в разное время поступают изображения как с шумом, искажениями с низким разрешением, так и изображения без искажений с высоким разрешением.

В блоке линейного усреднения пикселей 2 для каждого пикселя анализируют соседние для него пиксели, которые располагаются в некотором прямоугольном окне вокруг этого пикселя. Чем больше размер окна, тем сильнее происходит усреднение. Самый простой вариант фильтрации - в качестве нового значения центрального пиксела необходиом выбрать среднее арифметическое соседних пикселей, значение которых отличается от значения центрального не более чем на значение величины порога. Чем больше величина порога, тем больше осуществляют усреднение.

Для каждого пиксела в некотором его окружении (окне) в блоке медианной фильтрации 3 осуществляют поиск медианного значения и присваивают его этому пикселу. Определение медианного значения - если массив пикселей отсортировать по их значению, медианой будет серединный элемент массива.

Медиану определяют по формуле [5, стр. 667-678]:

где W - множество пикселей, среди которых осуществляют поиск медианы, f_i - значение яркостей цветных пикселей, f_i - значение черно-белых пикселей.

Для цветных изображений используется векторный медианный фильтр (VMF):

где F_i - значение пикселей в трехмерном цветовом пространстве, F_j - значение пикселей в черно белом пространстве, a d - произвольная метрика (например, евклидова). Однако в чистом виде медианный фильтр размывает мелкие детали, величина которых меньше размера окна для поиска медианы.

В блоке математической морфологии 4 осуществляют шумоподавление с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытия (closing) и раскрытия (opening). Раскрытие (сначала сужение, потом расширение) убирает выступы на границах объектов, а закрытие (сначала расширение, потом сужение) заполняет области внутри и на границах. По исходному изображению I вычисляют новое изображение I', равное полу сумме открытия-закрытия и закрытия-открытия исходного изображения. Получим сглаженное изображение, не содержащее шум. Тогда изображение D, равное разнице I и I' содержит шум и детали объектов исходного изображения, размер которых меньше размера структурного элемента, примененного при морфологических операциях. Предполагается, что амплитуда сигнала шума меньше, чем у деталей объектов на изображении при этом обнуляют все значения в D, которые меньше значения величины порога, далее снова суммируют с В блоке Гауссовского размытия 5 осуществляют свертку изображения с функцией [6, стр. 79-82]:

где параметр А - обеспечивает нормировку, - задает степень размытия, σ - параметр стандартной погрешности определяет ширину распределения, х, у - координаты пикселей. Фактически, это то же усреднение, только пиксель смешивается с окружающими по определенному закону, заданному функцией Гаусса.

Матричный фильтр, вычисленный по формуле (3), называется Гауссианом, чем больше его размер, тем сильнее размытие. Поскольку считается, что фильтр сепарабелен, то можно представить его в виде:

тогда свертку можно производить последовательно по строкам и по столбцам, что приводит к значительному ускорению работы метода при больших размерах фильтра. Вблизи границ (контуров на изображении) такой фильтр применять нельзя, чтобы не смазать детали изображения. Как следствие вдоль границ остается зашумленный контур.

Модифицировать этот метод для лучшей адаптации к границам можно путем поиска в каждом окне наилучшего направления размытия (наличие границы), вычисляя производные по направлениям, и применяя в данном окне направленный Гауссиан вдоль найденной границы. В результате размытие осуществляется вдоль границ изображения, и зашумленного контура не будет.

В блоке методов на основе вейвлет-преобразования 6 осуществляют многомасштабный анализ. Применительно к области шумоподавления удаляют шум с изображения, не затрагивая значительно границы и детали, что позволяет эффективно подавлять шумы со спектрами, отличными от белого.

В блоке метод главных компонент 7 выделяют структуру в многомерном массиве данных, что применяется в основном для распознавания или для сжатия изображений. Метод главных компанент работает лучше всего для изображений с белым Гауссовским шумом. Метод предназначен для нахождения базисных векторов исследуемого многомерного пространства, которые наилучшим образом отражают расположение исходных данных в пространстве [7, стр. 55-58].

В блоке анизотропной диффузии 8 яркость каждого пикселя интерпретируют как значение температуры в данной точке изображения, таким образом, что все изображение представляется в виде карты температур. Шумоподавление производится путем выравнивания температур (фактически, интенсивностей пикселей) с помощью моделирования процесса теплопереноса [8, стр. 42-43]:

где I_t - коэффициент температур карт признаков, с - коэффициент теплопроводности, ΔI - разность яркостей («температур») двух пикселей.

Коэффициент теплопроводности с зависит от градиента интенсивности изображения:

где ∇I - градиент разности яркостей («температур») двух пикселей, k - количество пар пикселей.

Так как на границах деталей объектов изображения, как правило, происходит значительное изменение яркости, коэффициент теплопроводности, определяемый по формуле (6), будет небольшим и, как следствие, перенос «тепла» через границу будет минимальным. В зашумленных областях изменение яркостей пикселей незначительно, поэтому такие области хорошо сглажены. По своей сути данный метод очень напоминает Гауссовское размытие.

В блоке двойной пороговой фильтрации 9 применяют порог, чтобы определить находится или нет граница в данной точке изображения. Чем меньше порог, тем больше границ будет находиться, более восприимчивым к шуму станет результат, выделяя лишние фрагменты изображения. Наоборот, высокий порог может не обработать слабые края или получить границу фрагментами. Выделение границ использует два порога фильтрации: если значение пикселя выше верхней границы - он принимает максимальное значение (граница считается достоверной), если ниже - пиксель подавляется, точки со значением, попадающим в диапазон между порогов, принимают фиксированное среднее значение.

В блоке подавления группы пикселей с минимальным коэффициентом яркости 10 определяют пиксели границ, в которых достигается локальный максимум градиента в направлении вектора градиента. Значение направления должно быть кратно 45° при этом осуществляют подавления группы пикселей с минимальным коэффициентом яркости.

Принцип подавления проиллюстрирован на рисунке выше. Почти все пиксели в примере «имеют ориентацию вверх», поэтому значение градиента в этих точках будет сравнено с ниже- и вышерасположенными пикселями. Обведенные белым контуром пиксели останутся в результирующем изображении, остальные - будут подавлены.

В блоке поиска границ Собеля (градиентный подход) 11 вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границы объекта целеуказания). Результатом применения оператора Собеля в каждой точке изображения является либо вектором градиента яркости в этой точке, либо его норма [9, стр. 153-160].

В блоке детектирования границ оператором Кении 12 исключают шум и лишние детали на изображении, рассчитывают градиент изображения, делают края тонкими, связывают края в контур [10, стр. 22].

В блоке идентификации динамических объектов 13 на этапе идентификации графических образов устанавливают принадлежности найденного динамического объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном.

В блоке 14 осуществляют алгоритм мультипоточной нейронной сети, основные этапы которой представлены в виде блоков на фиг. 2.

В блоке BRISK (Binary Robust Invariant Scalable Keypoints) 15 осуществляют признаковое описание изображения, при этом осуществляют привязку к локальным особенностям - особым точкам. Отличается от остальных методов тем, что определяет наибольшее количество особых точек с цифровым шумом, при этом на фильтрацию образовавшихся ложных связей затрачивается значительное количество времени, хотя итоговая точность достаточно высока.

В блоке метода ORB (Oriented FAST and Rotated BRIEF) 16 осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features), обеспечивающего распознавание одинаковых участков изображения, которые сняты с разных точек (ракурсов). Дескриптор - описание особой точки в окрестности в виде числового или бинарного вектора определенных параметров изображения. Метод имеет лучшую скорость в вычислении особых точек и расчета их дескрипторов, что позволяет использовать его в задачах, где необходима обработка. Одной из таких задач является слежение за движущимся объектом. Наличие цифрового шума или размытие изображений ухудшает результат сравнения изображений.

В блоке AKAZE (Accelerated-KAZE) 17 осуществляют распределение изображения, при этом метод обладает низкой скоростью и не имеет большого количества особых точек, но обеспечивает высокую точность при сопоставлении изображений и дальнейшего распределения по группам.

В блоке 18 осуществляют поиск особых точек на нелинейной многомасштабной пирамиде и описывают дескрипторы по трем параметрам, обеспечивая высокую точность при сопоставлении изображений и дальнейшего их распределения по группам. Блок 18 является переменной для блока 14, в которой хранится количество дескрипторов после каждой свертки.

В блок карты признаков 19 поступают обработанные изображения с дескрипторами.

В блоке сравнения изображений 20 сравнивают эталонные изображения с обработанными.

В блоке эталонных изображений 21 хранятся исходные изображения.

В блоке вывода изображений 22 осуществляют вывод изображений, прошедшие проверку в блоке сравнения изображений.

На фиг. 2 изображены основные этапы многопоточной нейронной сети блока 14:

Начало

23 - блок входных цифровых изображений;

24 - блок определения разрешения входного изображения по X и Y пиксельным осям;

25 - блок логического распределения изображения по количествам потоков в зависимости от его разрешения;

26 - блок первого потока, включающий в себя копию изображения разрешением 256×256 пикселей с каналом интенсивности в 1 пиксель;

27 - блок свертки изображения 128×128 пикселей с интенсивностью канала в 16 пикселей;

28 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков объекта после свертки 128×128 пикселей;

29 - блок свертки изображения 64×64 пикселей с интенсивностью канала в 8 пикселей;

30 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей;

31 - блок Свертки изображения 64×64 пикселей с интенсивностью канала в 16 пикселей;

32 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей с каналом интенсивности 16 пикселей;

33 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 128×128 пикселей с интенсивностью канала 16 пикселей и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;

34 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей с интенсивностью канала 8 пикселей и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;

35 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей с интенсивностью канала 16 пикселей и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;

36 - блок хранения данных особо выраженных признаков изображения после проведения пулинга фильтром размерностью 2×2 пикселей;

37 - блок хранения данных особо выраженных признаков изображения после проведения пулинга фильтром размерностью 3×3 пикселей;

38 - блок логического сопоставления количества особых точек изображения исходя из полученных данных пулинга фильтрами размерностью 3×3 и 2×2 пикселей. Если после сверки коэффициент количества ярко выраженных признаков (С_х,у) меньше 60% то запускается повторный процесс пулинга, а если С_х,у>60%, то изображение восстанавливается до его исходных размеров путем дискредитации и свертки;

39 - блок определения количества потоков. При коэффициенте F>256×256 пикселей;

40 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков изображения;

41 - блок Свертки изображения 128×128 пикселей с интенсивностью канала в 16 пикселей;

42 - блок Свертки изображения 64×64 пикселей с интенсивностью канала в 8 пикселей;

43 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков изображения;

44 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 64×64 пикселей с интенсивностью канала 8 пиксель и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;

45 - блок Свертки изображения 32×32 пикселей с интенсивностью канала в 16 пикселей;

46 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков изображения;

47 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 32×32 пикселей с интенсивностью канала 16 пикселей и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;

48 - блок Свертки изображения 28×28 пикселей с интенсивностью канала в 1 пиксель;

49 - блок Пулинга изображения с фильтром размерностью 3×3 пикселей с выделением особо ярких карт признаков изображения;

50 - блок Пулинга изображения с фильтром размерностью 2×2 пикселей с выделением особо ярких карт признаков объекта после свертки 28×28 пикселей с интенсивностью канала 1 пиксель и выделенных карт признаков пулинга фильтра размерностью 3×3 пикселей;

51 - блок хранения данных особо выраженных признаков изображения после проведения пулинга фильтром размерностью 3×3 пикселей;

52 - блок хранения данных особо выраженных признаков изображения после проведения пулинга фильтром размерностью 2×2 пикселей;

53 - блок логического сопоставления количества особых точек изображения исходя из полученных данных пулинга фильтрами размерностью 3×3 и 2×2 пикселей. Если после сверки коэффициент количества ярко выраженных признаков C_x,y<70% то запускается повторный процесс пулинга, а если С_х,у>70%, то изображение восстанавливается до его исходных размеров путем дискредитации и свертки;

54 - блок дискредитации и свертки изображения с размерности 28×28 пикселей до 128×128 пикселей с каналом интенсивности 4 пикселя;

55 - блок дискредитации и свертки изображения с размерности 128×128 пикселей до 256×256 пикселей с каналом интенсивности 4 пикселя;

56 - блок выходного обработанного изображения с определенными дескрипторами особых точек;

Конец.

В блоке 14 многопоточную нейронную сеть делят на потоки 25, осуществляют многократный пулинг в потоках 28, 30, 32-35, 40, 43, 44, 46, 47, 49, 50, обеспечивают неоднородную интенсивность свертки пулинга 27, 29, 31, 41, 42, 45, 48, выделяют карту признаков пулинга, вводят фильтр-окно в блоки Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками 38, осуществляют свертку входного изображения. Пулинг патча с размером окна 3×3 с выделением особо выраженных карт признака, повторный пулинг размером окна 2×2 пикселей в уже выделенных картах признака, свертку изображения и пулинг 3×3 и 2×2 пикселей при максимуме свертки до размера 28×28 пикселей с каналом в 1 пиксель. Активационная функция для каждого нейрона, содержащего пиксель - RELU, на выходном слое - Softmax. После того как свертка достигла минимального размера 28×28 пикселей осуществляют обратный процесс восстановления изображения до исходного входного размера 54, 55, при этом после каждой свертки отображается количество найденных дескрипторов в слоях. На выходном изображении дескрипторы объединяют воедино 56, что обеспечивает повышение качества изображения.

Таким образом, в предлагаемом новом способе помимо перечисленных в ближайшем аналоге, используются следующие дополнительные действия:

1. Анализируют соседние пиксели, которые располагаются в прямоугольном окне вокруг выбранного пикселя.

2. Осуществляют поиск медианного значения и присваивают это значение пикселу.

3. Осуществляют шумоподавление с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытие (closing) и раскрытие (opening).

4. Осуществляют многомасштабный анализ изображения.

5. Удаляют шум с изображения, не затрагивая значительно границы и детали объектов; выделяют структуру в многомерном массиве данных.

6. Задают значение порога для определения границ в данной точке изображения; рассчитывают градиент изображения.

7. Определяют пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента.

8. Осуществляют подавление группы пикселей с минимальным коэффициентом яркости; вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границ объекта).

9. Исключают шум и лишние детали на изображении.

10. Уменьшают контурную границу вокруг объекта.

11. Объединяют контурную границу вокруг объекта изображения воедино.

12. Устанавливают принадлежность распознанного объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном на этапе идентификации графических образов.

13. Осуществляют интеллектуальную обработку изображений - запускают алгоритм мультипоточной нейронной сети: осуществляют многократный пулинг в потоках, обеспечивают неоднородную интенсивность свертки пулинга, выделяют карту признаков пулинга, вводят фильтр-окно в блоках Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками, осуществляют свертку входного изображения.

14. Осуществляют признаковое описание изображения.

15. Осуществляют привязку к локальным особенностям - особым точкам.

16. Осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features).

17. Распределяют изображения по классам.

18. Осуществляют поиск особых точек на нелинейной многомасштабной пирамиде.

19. Описывают дескрипторы по трем параметрам.

20. Осуществляют обратный процесс восстановления изображения до исходного входного размера, после того как свертка достигает максимума 28×28 пикселей.

Сравнительный анализ существенных признаков существующих способов обработки массива изображений и настоящего способа показывает, что предложенный способ, основанный на использовании дополнительных операций, связанных с анализом соседних пикселей, которые располагаются в некотором прямоугольном окне вокруг этого пикселя, осуществлением поиска медианного значения и присваивают его этому пикселу, шумоподавления с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытия (closing) и раскрытия (opening), многомасштабного анализа изображения, удаления шумов с изображения, выделения структуры в многомерном массиве данных, что применяется в основном для распознавания или для сжатия изображений, выделяют пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента, осуществляют подавления группы пикселей с минимальным коэффициентом яркости, вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границы объекта целеуказания), исключают шум и лишние детали на изображении, рассчитывают градиент изображения, делают края тонкими, связывают края в контур, устанавливают принадлежность найденного динамического объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном, осуществляют алгоритм мультипоточной нейронной сети: осуществляют многократный пулинг в потоках, обеспечивают неоднородную интенсивность свертки пулинга, выделяют карту признаков пулинга, вводят фильтр-окно в блоках Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками, осуществляют свертку входного изображения; осуществляют признаковое описание изображения при этом привязывают к локальным особенностям - особым точкам, осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features), обеспечивающего распознавание одинаковых участков изображения, осуществляют поиск особых точек на нелинейной многомасштабной пирамиде и описывают дескрипторы по трем параметрам, сравнивают эталонные изображения с обработанными отличается тем, что за счет интеллектуальной обработки массива неоднородных изображений обеспечивается увеличение информативности изображения и точности детектирования объектов с дальнейшим сравнением его с имеющимся эталоном изображения.

Таким образом, достигается технический результат изобретения -уменьшение и удаление искажений в массиве неоднородных цифровых изображениях с увеличением информативности и повышение точности детектирования объектов с дальнейшим сравнением его с имеющимся эталоном изображения.

Источники информации:

1. Никитенко А.А. Реконфигурируемая программная система для распознавания патологий по видео данным колоноскопии. ВКР по направлению подготовки 02.03.02. Томск: ТГУ, 2018. - 47 с.

2. Дзанг Ин-ра (KR) Патент RU №2599260 С2, МПК H04N 5/225 «Устройство обработки цифровых изображений и способ управления им». 2014144440/07. Заяв. 28.03.2013. Опубл. 10.10.2016. Бюл. №15.

3. Партасарати Виджай, Лин Муцинг, Крюкер Йохен (NL) Патент RU №2014140480 А, МПК G06T 7/00 «Интеллектуальный выбор ориентиров для повышения точности совмещения при слиянии изображений, полученных различными устройствами». 2014140480. Заяв. 01.03.2013. Опубл. 27.04.2016 Бюл. №12.

4. Шмунк Д.В. Патент RU №2367015 С1, МПК G06K 9/40, G06T 5/00 «Способ улучшения цифровых изображений». 2008118846/09. Заяв. 12.05.2008. Опубл. 10.09.2009. Бюл. №25.

5. Червяков Н.И. Два метода адаптивной медианной фильтрации импульсного шума на изображениях / Червяков Н.И., Ляхов П.А., Оразаев А.Р. // Компьютерная оптика. - 2018. - Т. 42, №4. - с. 667-678.

6. Спектор А.А. Рекуррентная фильтрация гауссовских дискретных полей, наблюдаемых в гауссовских шумах // Радиотехника и электроника, 1994, №7. - с. 79-82.

7. Даджион Д., Мерсеро Р. Цифровая обработка многомерных сигналов. - М.: Мир, 1988. - с. 488.

8. Прэтт У. Цифровая обработка изображений. Кн.2. - М.: Мир, 1982. - 480 с.

9. Кирсанов М.Н. Maple и Maplet. Решение задач механики / Кирсанов М.Н. - С-Пб.: изд-во «Лань», 2012. - 512 с.

10. Местецкий Л.М. Математические методы распознавания образов. - М: МГУ, 2004. - 144 с.

Изобретение относится к области обработки цифровых изображений. Технический результат заключается в уменьшении и удалении искажений в массиве неоднородных цифровых изображений с увеличением информативности и повышении точности детектирования объектов целеуказания с дальнейшим сравнением текущих изображений с эталоном и распределением по классам. Технический результат достигается тем, что при получении массива неоднородных цифровых изображений проводят первоочередную обработку изображений с целью уменьшения процента зашумленности и устранения признаков искажений. Обработку цифровых изображений производят последовательно методами фильтрации с определением границ объекта на зашумленном изображении, увеличивая информативность. На обработанном цифровом изображении осуществляют распознавание объектов на изображении путем разбиения данного обработанного изображения на потоки. В каждом из потоков после свертки изображения осуществляют пулинг с фильтрующим окном размером 3×3 пикселей с выделением особо ярких признаков и завершают пулинг с размером окна 2×2 пикселей и обратный процесс восстановления изображения до исходного входного размера, после того как свертка достигает максимума 28×28 пикселей. 2 ил.

Способ интеллектуальной обработки массива неоднородных изображений, заключающийся в том, что анализируют и обрабатывают цифровые изображения с учетом яркостных особенностей и фильтров, корректируют изображения, распознают объекты на изображениях, выделяют особые общие точки (дескрипторы) между изображениями, отличающийся тем, что анализируют соседние пиксели, которые располагаются в прямоугольном окне вокруг выбранного пикселя; осуществляют поиск медианного значения и присваивают это значение пикселу; осуществляют шумоподавление с использованием двух основных морфологических операций: сужения (erosion) и расширения (dilation), а также их комбинаций - закрытие (closing) и раскрытие (opening); осуществляют многомасштабный анализ изображения; удаляют шум с изображения, не затрагивая значительно границы и детали объектов; выделяют структуру в многомерном массиве данных; задают значение порога для определения границ в данной точке изображения; рассчитывают градиент изображения; определяют пиксели, в которых достигается локальный максимум градиента в направлении вектора градиента; осуществляют подавление группы пикселей с минимальным коэффициентом яркости; вычисляют приближенное значение градиента яркости изображения для поиска границ Собеля (границ объекта); исключают шум и лишние детали на изображении; уменьшают контурную границу вокруг объекта; объединяют контурную границу вокруг объекта изображения воедино; устанавливают принадлежность распознанного объекта к классу объектов целеуказания на основании сравнительного анализа его контуров с заданным шаблоном на этапе идентификации графических образов; осуществляют интеллектуальную обработку изображений - запускают алгоритм мультипоточной нейронной сети: осуществляют многократный пулинг в потоках, обеспечивают неоднородную интенсивность свертки пулинга, выделяют карту признаков пулинга, вводят фильтр-окно в блоках Пулинга для осуществления скольжения по пикселям изображения, сравнивают полученные признаки между потоками, осуществляют свертку входного изображения; осуществляют признаковое описание изображения; осуществляют привязку к локальным особенностям - особым точкам; осуществляют комбинацию алгоритмов детектора FAST (Features from Accelerated Segment Test) и дескриптора BRIEF (Binary Robust Independent Elementary Features); распределяют изображения по классам; осуществляют поиск особых точек на нелинейной многомасштабной пирамиде; описывают дескрипторы по трем параметрам; осуществляют обратный процесс восстановления изображения до исходного входного размера, после того как свертка достигает максимума 28×28 пикселей.