Способ дешифрации изображений Российский патент 2017 года по МПК G06K9/46 G06K9/66 G06T7/00 G06T5/00 

Описание патента на изобретение RU2610283C1

Изобретение относится к области дешифрации изображений, получаемых от датчиков изображения, например телевизионных и тепловизионных камер, в режиме реального времени на борту летательных аппаратов гражданского назначения. Изобретение может быть использовано для улучшения точности построения двухмерных и трехмерных карт и моделей местности, в том числе и специализированной системой улучшенного видения на дисплее пилота, используемой для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.

Система улучшенного видения EVS - это электронное средство обеспечения летного экипажа изображением внешней обстановки, полученным либо непосредственно от датчиков, либо предварительно обработанным (улучшенным). В качестве датчика изображения может использоваться инфракрасная камера, радиолокатор миллиметрового диапазона и др. Добавление каждого сенсора в систему при комплексировании его информации с другими источниками потенциально приводит к увеличению возможности получить дополнительные эксплуатационные преимущества.

Для решения задач дешифрации изображений, в том числе аэрофотоснимков, полученных от бортовых камер летательного аппарата, бортовые системы улучшенного зрения выполняют ряд действий, среди которых можно выделить:

- формирование изображений;

- сегментация изображений;

- классификация образов на изображении;

- визуализация результатов дешифрации изображений.

Оценка качества работы модулей бортовых систем улучшенного зрения, выполняющих дешифрацию изображений, например аэрофотосъемки, производится путем

- оценки среднего и максимального времени выполнения дешифрации;

- оценки точности дешифрации путем оценки процентного соотношения количества правильно распознанных образов объектов и количества неправильно распознанных образов объектов на изображении;

- оценки диапазона условий применения дешифрации.

Оценка качества работы модулей производится на тестовом наборе изображений, репрезентативно покрывающем множество возможных комбинаций погодных условий, времени съемок, времен года и прочих факторов, влияющих на качество выполнения съемки для конкретного климата, природных условий и тому подобных характеристик местности.

Одним из самых популярных подходов является подход, базирующийся на применении дерева принятия решений для сегментации и распознавания изображений. Дерево принятия решений может быть реализовано аппаратно. Обладая низкими временными затратами на дешифрацию изображений, данный подход имеет низкую точность распознавания 50-60% образов объектов и узкий диапазон условий применения, так как аппаратный модуль, реализующий дерево принятия решений, требует перенастройки под различные погодные условия, различные времена года и т.п. даже для одного изображения.

Другим широко известным подходом является метод, основанный на применении эвристических систем дешифрации изображений, в состав которых входят различные концепции теории искусственного интеллекта и теории машинного обучения. Нередко в состав таких систем включаются искусственные нейронные сети, однако, учитывая общую концепцию данных систем, все вычисления выполняются, как правило, на специализированном вычислительном устройстве, состоящем из центрального процессора и одного или нескольких графических процессоров, с помощью которых достигается распараллеливание вычислений. Данный подход существенно проигрывает по времени выполнения подходам, реализованным полностью аппаратно, однако он лучше подхода, основанного на дереве принятия решений, с точки зрения точности и возможного диапазона дешифрации, поскольку имеет больше возможностей по тонкой настройке.

Известен способ дешифрации изображений, основанный на применении охлаждаемых инфракрасных датчиков, реализованный, в частности, компанией Kollsman Inc. (США) в системах Kollsman All Weather Window - всепогодная система дневного применения и Kollsman Night Window - система ночного применения. К недостаткам данного подхода относятся низкие показатели по точности дешифрации изображений в условиях плохой погоды (тумана, дымки и т.п.) из-за отсутствия в системе датчиков, работающих в видимом диапазоне частот. В отличие от данного подхода заявляемый способ содержит в своем составе датчики, работающие в видимых диапазонах частот.

Наиболее близкими к заявленному техническому решению являются аппаратные комплексы дешифрации изображений, основанные на применении датчиков, работающих в видимом диапазоне, и датчиков, работающих в ближнем инфракрасном диапазоне, реализованные, в частности, компанией CMC Electronics (Канада) в системах СМА-2600 I-Series и СМА-2610 M-Series. К недостаткам данного подхода относят низкие показатели по точности дешифрации изображений из-за применения для дешифрации неинтеллектуальных алгоритмов компьютерного зрения, основанных на простейших операциях обработки изображений, например, таких как пороговая обработка, морфологические операции. В отличие от данного подхода в заявляемом способе дешифрация изображений осуществляется с помощью методов теории искусственного интеллекта, в частности с помощью искусственных нейронных сетей.

Технический результат заявляемого изобретения состоит в улучшении основных эксплуатационных параметров бортовых систем улучшенного видения - качества детектирования объектов на изображении, оцениваемого как процентное соотношение количества правильно распознанных образов объектов и количества неправильно распознанных образов объектов на наборе модельных изображений, репрезентативно покрывающем характерные сцены, анализируемые бортовыми системами улучшенного видения при полетах над средней полосой России, а также в уменьшении времени обработки одного кадра.

Для достижения низких временных показателей, высоких показателей точности и широкой применимости процесса дешифрации в настоящем изобретении используется подход, основанный на применении сегментатора, выполненного по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшее объединение результатов сегментации; классификатор состоит из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети; предусмотрено введение дополнительных кеширующих банков памяти, позволяющих эвристически оптимизировать работу за счет кеширования отдельных результатов работы сегментатора и классификатора, позволяющих эвристически оптимизировать работу программно-аппаратного комплекса за счет кеширования отдельных результатов.

Заявляемое изобретение иллюстрируется Фиг. 1.

Фиг. 1. Блок-схема способа дешифрации изображений.

Изобретение осуществляется следующим образом.

Аппаратный комплекс дешифрации изображений состоит из блока «Регистрация изображения», блока «Сегментатор», блока «Классификатор» и блока «Визуализация».

Блок «Регистрация изображения», выполненный по технологии программируемой логической интегральной схемы, получает по шине Ethernet исходные изображения от телевизионной и тепловизионной камер, выполняет их объединение в одно изображение и расширяет цветовой диапазон изображения до 16 бит на спектральный канал, после чего передает результирующее изображение на вход блока «Сегментатор».

Блок «Сегментатор» представляет собой набор модулей, связанных друг с другом шинами передачи данных, выполненных по технологии PCIe. Модуль «Построение дерева изображений» выполняет кратномасштабную обработку изображений (пять уровней), на каждом шаге уменьшая изображение в два раза путем усреднения его элементов. Модули «Простой сегментатор 1», «Простой сегментатор 5» выполняют сегментацию соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, передавая результат обработки на вход блока «Классификатор».

Блок «Классификатор» выполняет классификацию образов на изображении. Блок содержит несколько модулей, выполненных в виде ПЛИС. Модуль «Очередь» реализует очередь изображений, получаемых от блока «Классификатор». Блок «Дерево классификаторов» управляет деревом классификаторов - передает на вход блока «Простой классификатор» вектор параметров классификатора, зависящий от уровня классификатора в дереве классификаторов, погодных условий съемки, времени года съемки и прочих факторов, а также передает соответствующее изображение. Результат своей работы блок «Простой классификатор» передает обратно блоку «Дерево классификаторов», который выполняет анализ результатов и принимает решение о дальнейшей необходимости классификации или принимает решение о выдаче результатов классификации образов объектов, выделенных на обрабатываемом изображении, на блок «Визуализация».

Блок «Визуализация», выполненный в виде ПЛИС, упорядочивает результаты классификации и передает их по шине Ethernet в систему улучшенного видения.

Отличительные особенности заявляемого изобретения:

- сегментатор выполнен по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшее объединение результатов сегментации;

- классификатор состоит из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;

- введены дополнительные кеширующие банки памяти, позволяющие эвристически оптимизировать осуществление способа за счет кеширования отдельных результатов работы сегментатора и классификатора.

Заявляемое изобретение позволяет достичь точности распознавания образов объектов равной 97,12% от общего количества образов объектов, а также времени обработки кадра размером 2000 на 2000 пикселей, состоящем из пяти спектральных каналов видимого и ближнего инфракрасного диапазонов, в 0,031 секунды, что равно примерно 32-м кадрам в секунду и удовлетворяет требованиям, предъявляемым к бортовой системе улучшенного видения, функционирующей в режиме реального времени.

Похожие патенты RU2610283C1

название год авторы номер документа
Навигационная комбинированная оптическая система 2018
  • Колчаев Дмитрий Алексеевич
  • Новиков Анатолий Иванович
  • Логинов Александр Анатольевич
  • Ефимов Алексей Игоревич
  • Никифоров Михаил Борисович
  • Савин Александр Владимирович
RU2694786C1
Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности 2020
  • Ненашев Вадим Александрович
  • Ханыков Игорь Георгиевич
  • Шепета Александр Павлович
RU2756904C1
Программно-аппаратный комплекс, предназначенный для обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов 2020
  • Балакчин Виктор Сергеевич
  • Балакчина Анастасия Викторовна
  • Гасникова Евгения Владимировна
  • Благушина Лариса Желалудиновна
  • Гаврилов Дмитрий Александрович
  • Гамиловский Сергей Витальевич
  • Еременко Артем Геннадьевич
  • Гутор Мария Александровна
  • Ефанов Николай Николаевич
  • Ефимов Вячеслав Юрьевич
  • Каврецкий Илья Леонидович
  • Косицын Владимир Петрович
  • Лапушкин Андрей Георгиевич
  • Маслов Дмитрий Александрович
  • Местецкий Александр Моисеевич
  • Местецкий Леонид Моисеевич
  • Пунь Андрей Богданович
  • Родионов Павел Борисович
  • Семенов Андрей Борисович
  • Соколов Глеб Михайлович
  • Татаринова Елена Александровна
  • Федоров Андрей Владимирович
  • Фонин Владимир Николаевич
  • Фонин Юрий Николаевич
  • Фортунатов Антон Александрович
RU2752246C1
Устройство формирования комплексного изображения на основе совмещения отдельных разнородных изображений с цифровой картой местности 2022
  • Ненашев Вадим Александрович
  • Ненашев Сергей Александрович
  • Сенцов Антон Александрович
  • Поляков Вадим Борисович
  • Григорьев Евгений Константинович
  • Иванов Сергей Александрович
  • Горбунов Сергей Александрович
RU2789857C1
Способ дешифрации электромиосигналов и устройство для его реализации 2020
  • Трифонов Андрей Андреевич
  • Яцун Андрей Сергеевич
  • Кузьмин Александр Алексеевич
  • Петрунина Елена Валерьевна
  • Филист Сергей Алексеевич
RU2762775C1
СПОСОБ ДИАГНОСТИРОВАНИЯ ИНФОРМАЦИОННО-ПРЕОБРАЗУЮЩИХ ЭЛЕМЕНТОВ БОРТОВОГО ОБОРУДОВАНИЯ ВОЗДУШНОГО СУДНА НА ОСНОВЕ МАШИННОГО ОБУЧЕНИЯ 2022
  • Букирёв Александр Сергеевич
  • Ипполитов Сергей Викторович
  • Крячков Вячеслав Николаевич
  • Савченко Андрей Юрьевич
RU2802976C1
РАСПОЗНАВАНИЕ РУКОПИСНОГО ТЕКСТА ПОСРЕДСТВОМ НЕЙРОННЫХ СЕТЕЙ 2020
  • Упшинский Андрей Леонидович
RU2757713C1
Способ распознавания сигналов светофора в ночное время суток 2021
  • Пичугин Илья Владимирович
  • Савченко Екатерина Владимировна
  • Будаковский Дмитрий Викторович
  • Будаковский Максим Викторович
  • Прун Виктор Евгеньевич
RU2770068C1
ИНИЦИАЛИЗАЦИЯ МОДЕЛИ НА ОСНОВЕ КЛАССИФИКАЦИИ ВИДОВ 2014
  • Штеле Томас Хайко
  • Весе Юрген
  • Вехтер-Штеле Ирина
RU2669680C2
Способ автоматической сегментации флюорограмм грудной клетки больных пневмонией 2016
  • Дураков Игорь Владимирович
  • Кудрявцев Павел Сергеевич
  • Кузьмин Александр Алексеевич
  • Филист Сергей Алексеевич
  • Шаталова Ольга Владимировна
RU2629629C1

Иллюстрации к изобретению RU 2 610 283 C1

Реферат патента 2017 года Способ дешифрации изображений

Изобретение относится к области дешифрации изображений, получаемых от датчиков изображения. Техническим результатом является повышение точности распознавания объектов на изображении. Предложен способ дешифрации изображений, включающий формирование изображений на основе информации, получаемой от датчиков изображения. Согласно способу осуществляют сегментацию изображений на основе использования многомерной нейронной карты Кохонена по пирамидальной схеме, с сегментацией на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшим объединением результатов сегментации. Далее осуществляют классификацию образов на изображении с помощью древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, обучаемые с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети. 1 ил.

Формула изобретения RU 2 610 283 C1

Способ дешифрации изображений, включающий формирование изображений на основе информации, получаемой от датчиков изображения, сегментацию изображений на основе использования многомерной нейронной карты Кохонена, классификацию образов на изображении с помощью древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, визуализацию изображений, в котором алгоритмы регистрации и предобработки изображений, алгоритмы работы сегментатора, алгоритмы обучения и работы классификатора, алгоритмы постобработки изображений реализуются на программируемой логической интегральной схеме, отличающийся тем, что

сегментация изображений выполняется по пирамидальной схеме, с сегментацией на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшим объединением результатов сегментации;

классификация образов предусматривает обучение нейронных сетей прямого распространения без обратных связей с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;

при сегментации изображений и классификации образов на изображении используются дополнительные кеширующие банки памяти.

Документы, цитированные в отчете о поиске Патент 2017 года RU2610283C1

Устройство для закрепления лыж на раме мотоциклов и велосипедов взамен переднего колеса 1924
  • Шапошников Н.П.
SU2015A1
статья K.C
YAO et al
"Unsupervised segmentation using a self-organizing map and a noise model estimation in sonar imagery", опубл
ЩИТОВОЙ ДЛЯ ВОДОЕМОВ ЗАТВОР 1922
  • Гебель В.Г.
SU2000A1
статья П.А
Чочиа "Пирамидальный алгоритм сегментации изображений", опубл
Приспособление для суммирования отрезков прямых линий 1923
  • Иванцов Г.П.
SU2010A1
US 7362892 B2, 22.04.2008
КЛАССИФИКАЦИЯ ИЗОБРАЖЕНИЯ НА ОСНОВЕ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЯ 2009
  • Цянь Юэчэнь
  • Геллер Дитер
  • Кнезер Райнхард
  • Севенстер Мерлейн
  • Ван Оммеринг Робберт К.
  • Тулипано Паола К.
RU2513905C2

RU 2 610 283 C1

Авторы

Акинина Наталья Викторовна

Солдатенко Илья Сергеевич

Семенова Ирина Александровна

Шишкова Татьяна Евгеньевна

Даты

2017-02-08Публикация

2015-12-18Подача