Способ распознавания назначенного донного объекта Российский патент 2024 года по МПК G06V10/82 G06F18/214 G01S15/89 

Изобретение относится к способам поиска донных объектов с использованием средств мониторинга дна, установленных на подводном аппарате.

На практике, как правило, требуется найти конкретный назначенный донный объект, например, затонувший корабль, самолёт, потерпевший крушение над морем, донную мину, другие объекты, оказавшиеся на дне и подлежащие подъёму на поверхность. Сложность решения этой задачи состоит не столько в обнаружении, сколько в распознавании назначенного донного объекта среди большого количества лежащих на дне объектов искусственного и естественного происхождения.

Для решения задачи поиска донных объектов подводные аппараты оборудуются средствами мониторинга дна, работающими на разных физических принципах. К ним относятся [1]:

- гидроакустические станции (многолучевые эхолоты, гидролокаторы бокового обзора, профилографы);

- электромагнитные искатели;

- подводные телекамеры

На фиг.1 показан поиск донных объектов подводным аппаратом с использование гидролокатора бокового обзора.

При движении подводного аппарата вдоль морского дна на выходе средства мониторинга дна формируется изображение просматриваемого участка дна. С использованием этого изображения осуществляется обнаружение и распознавание донных объектов. В качестве примера на фиг.2 приведено изображение донной мины на выходе гидролокатора бокового обзора.

Существует большое количество способов распознавания объектов по их изображениям. Условно их можно разделить на 2 класса: способы, базирующиеся на использовании эвристических алгоритмов [2-5], и способы, в основе которых лежит глубокое обучение искусственных нейронных сетей (далее - ИНС) [6-15]. На сегодняшний день наиболее эффективными признаны последние. Они широко применяются в различных областях и, в первую очередь, для распознавания изображений на фотоснимках [6]. Существенным недостатком применения ИНС является то, что для их обучения требуется большое количество обучающего материала, полученного в различных условиях. Например, для надёжного распознавания наземных объектов по фотографиям с самолёта ИНС должна обучаться с использованием десятков тысяч фотографий разных объектов, полученных в различных условиях.

Для распознавания донных объектов более широко применяются способы, базирующиеся на использовании эвристических алгоритмов [2-5]. Вместе с тем делаются попытки применять способы, в основе которых лежит глубокое обучение ИНС по изображениям с выхода гидролокаторов [11-15]. Однако эти попытки ограничены необходимостью иметь в наличии большой объём обучающего материала, получение которого в случае распознавания донных объектов затруднено.

В качестве прототипа выберем способ распознавания донных объектов, описанный в [15]. Его реализация предусматривает следующие действия:

а) на этапе обучения ИНС:

1) Получение на выходе средства мониторинга дна в разных условиях большого количества изображений донных объектов, представляющих интерес. В качестве средства мониторинга дна использовался высокочастотный гидролокатор с синтезированной апертурой, установленный на автономном необитаемом подводном аппарате MUSCLE. В течение нескольких лет было получено и накоплено 50 тысяч изображений.

2) С помощью накопленных изображений обучение ИНС, ориентированной на распознавание донных объектов.

б) на этапе поиска донных объектов:

3) Получение изображения донного объекта на выходе того же средства мониторинга дна, что использовалось для получения обучающего материала.

4) Подача полученного изображения на вход обученной ИНС.

5) Получение с выхода ИНС вероятностей принадлежности обнаруженного донного объекта каждому классу алфавита распознаваемых классов объектов.

6) Сравнение наибольшей полученной вероятности с заданным пороговым значением и в случае его превышения принятие решение в пользу того класса, которому соответствует наибольшая вероятность. В противном случае отказ от принятия решения по полученному изображению.

Недостатком прототипа является необходимость получения большого количества изображений донных объектов на выходе средств мониторинга дна, что не всегда возможно. Тем более это не представляется возможным, когда ставится задача найти конкретный донный объект, который ранее данным средством мониторинга дна не наблюдался.

Решаемая техническая проблема – повышение эффективности поиска донных объектов.

Технический результат – повышение вероятности распознавания назначенного донного объекта.

Указанный технический результат достигается тем, что в предлагаемом способе для обучения ИНС вместо изображений объектов, полученных экспериментальным путём в реальных условиях, используются изображения, полученные на цифровых моделях объектов (фиг.3). Для этого при получении задания на поиск конкретного донного объекта поиска (далее - донного объекта) на основе описания его формы и материала создаётся его трёхмерная цифровая модель (далее - цифровая модель). Затем эта цифровая модель программным путём, с использованием передаточной функции приёмного тракта средства мониторинга дна, преобразуется в её цифровое изображение на выходе средства мониторинга дна. После этого с применением известной технологии аугментации [16, 17] осуществляется размножение цифрового изображения объекта для различных условий его наблюдения. Полученные аугментированные цифровые изображения назначенного донного объекта используются для обучения ИНС.

Сущность предлагаемого изобретения заключается в следующем:

а) на этапе обучения ИНС:

1) В соответствии с полученным заданием на поиск конкретного донного объекта на основе описания его формы и материала создаётся его трёхмерная цифровая модель (фиг.4).

2) С использованием передаточной функции приёмного тракта средства мониторинга дна цифровая модель программным путём преобразуется в её цифровое изображение на выходе средства мониторинга дна (левый рисунок на фиг.5).

3) С применением технологии аугментации осуществляется размножение цифрового изображения объекта для различных условий его наблюдения (правые рисунки на фиг.5).

4) Обучение ИНС с использованием аугментированных цифровых изображений назначенного объекта на выходе средства мониторинга дна.

б) на этапе поиска назначенного объекта:

5) Получение изображения донного объекта на выходе средства мониторинга дна.

6) Подача полученного изображения на вход обученной ИНС.

7) Получение с выхода ИНС оценки вероятности соответствия обнаруженного донного объекта назначенному донному объекту [9, 10].

8) Сравнение полученной вероятности с заданным пороговым значением и в случае его превышения принятие решения о распознавании назначенного донного объекта. В противном случае отказ от принятия решения по полученному изображению.

Работоспособность заявляемого способа проверялась на примере поиска затонувшего самолёта. Трёхмерная цифровая модель самолёта представлена на фиг.4. Цифровое изображение самолёта, лежащего на дне, на выходе гидролокатора бокового обзора показано на левом рисунке фиг.5. Аугментированные изображения самолёта приведены на рисунках в правой части фиг.5. В результате аугментации было сформировано 1800 изображений размером 227x227 пикселей, из которых 1200 были обучающими и 600 контрольными.

В качества ИНС была выбрана свёрточная нейронная сеть SqueezeNet [18]. Выбор именно этой сети был обусловлен её возможностью проводить обучение с наименьшими затратами вычислительной мощности.

Проверка обученной ИНС показала следующие вероятности распознавания донных объектов типа "самолёт".

- 94% на обучающей выборке;

- 76% на контрольной выборке.

С использованием известных эвристических методов [2-5] вероятность распознавания назначенных донных объектов не превышает 50 - 70%.

Также проверялась вероятность ложной тревоги. Для этого описанным выше способом формировались изображения различных донных объектов (кораблей различного размера, подводных скал). Затем осуществлялось их распознавание при помощи ИНС, обученной для распознавания самолёта. Проверка показала, что посторонние объекты распознаются как самолёт с вероятностью 17%.

Таким образом, можно утверждать, что технический результат – повышение вероятности распознавания назначенного донного объекта – достигнут.

Источники информации:

1. Jane's unmanned maritime vehicle. 2019-2020. Ed. Kelvin Wong. IHS Markit. Coulsdon, Surrey, UK. 2020.

2. А.В. Инзарцев, Л.В. Киселев, В.В. Костенко, Ю.В. Матвиенко, А.М. Павин, А.Ф. Щербатюк [отв. ред. Л.В. Киселев]. Подводные робототехнические комплексы: системы, технологии, применение // Владивосток: Дальнаука. 2018. 368 с.

3. Б.А. Касаткин, Г.В. Косарев Результаты применения акустического профилографа для мониторинга морских акваторий с использованием алгоритмов синтезирования и фокусировки // Подводные исследования и робототехника. 2014. №1(17). С.33-38.

4. Carmichael D., Linnett L., Clarke S., Calder B. Seabed classification through multifractal analysis of sidescan sonar imagery // IEE Proc. Radar, Sonar and Navigation.1996. V.143(3). P.140–148.

5. Chapple P.B. Unsupervised detection of mine-like objects in seabed imagery from autonomous underwater vehicles // Proc. IEEE Oceans Conf. Biloxi, Mississippi, USA. 2009.

6. А.Ю. Белякова, Ю.Д. Беляков, П.С. Замятин. Решение задачи распознавания объектов и инцидентов на фотоматериалах, полученных беспилотных летательных аппаратов с использованием методом глубоко обучения // Инженерный вестник Дона. №5(2021)

7. С.А. Разлацкий, П.Ю. Якимов. Использование сверточных нейронных сетей для распознавания объектов в реальном времени // Информационные технологии и нанотехнологии. 2017. с 1679-1684

8. А.И. Бредихин. Алгоритмы обучения сверточных нейронных сетей // Вестник Югорского государственного университета. 2019. Выпуск 1(52). С. 41-54

9. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. // М.: ДМК Пресс. 2017. 652 с.

10. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. // СПб.: Питер. 2018. 480 с.

11. Zhu P., Isaacs J., Fu B., Ferrari S. Deep learning feature extraction for target recognition and classification in underwater sonar images. // Proc. IEEE Annual Conf. Decision and Control. Melbourne, Australia. 2017. P.2724–2731.

12. Williams D.P. Underwater target classification in synthetic aperture sonar imagery using deep convolutional neural networks. // Proc. Int. Conf. Pattern Recognition. Tlaquepaque, Jalisco, Mexico. 2016. P. 2497–2502.

13. Chapple P.B., Dell T., Bongiorno D. Enhanced detection and classification of mine-like objects using situational awareness and deep learning // Proc. Underwater Acoustics Conference and Exhibition. Island of Skiathos, Greece. 2017. P.529-536.

14. Williams D.P., Hamona R., Gergb I.D. On the benefit of multiple representations with convolutional neural networks for improved target classification using sonar data // Proc. Underwater Acoustics Conference and Exhibition. Hersonissos, Crete. 2019. P.187-194.

15. Williams D. Demystifying deep convolutional neural networks for sonar image classification // Proc. Underwater Acoustics Conference and Exhibition. Island of Skiathos, Greece. 2017. P.513-520.

16. А.В. Гайер, А.В. Шешкус., Ю.С. Чернышева. Аугментация обучающей выборки «на лету» для обучения нейронных сетей // Труды ИСА РАН. Спецвыпуск. 2018. С. 150-157.

17. С.О. Емельянов, А.А. Иванова, Е.А. Швец., Д.П. Николаев. Методы аугментации обучающих выборок в задачах классификации изображений // Сенсорные системы.2018. Т.32, №3. С.236-245.

18. Iandola F.N., Han S., Moskewicz M.W., Ashraf K., Dally W.J., Keutzer K. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5Mb model size // Under review as a conference paper at ICLR. 2017. P. 1-13.

Изобретение относится к способам поиска донных объектов с использованием средств мониторинга дна, установленных на подводном аппарате. Техническим результатом является дополнительное повышение вероятности распознавания назначенного донного объекта. Технический результат достигается тем, что для обучения искусственной нейронной сети, используемой для распознавания донных объектов по изображениям на выходе средства мониторинга дна, вместо изображений объектов, полученных экспериментальным путем в реальных условиях, используются изображения, полученные на цифровых моделях объектов. Для этого выполняют размножение цифрового изображения назначенного донного объекта на выходе средства мониторинга дна методом аугментации для разных условий наблюдения, обучение искусственной нейронной сети с использованием размноженных цифровых изображений. При этом цифровое изображение назначенного донного объекта на выходе средства мониторинга дна формируется путем создания трехмерной цифровой модели объекта поиска на основе описания его формы и материала с последующим ее преобразованием с использованием передаточной функции приемного тракта используемого средства мониторинга дна в цифровое изображение объекта на выходе средства мониторинга дна. 5 ил.

Способ распознавания назначенного донного объекта по изображению на выходе средства мониторинга дна, установленного на подводном аппарате, включающий получение цифрового изображения назначенного донного объекта на выходе средства мониторинга дна, его размножение методом аугментации для разных условий наблюдения, с использованием размноженных цифровых изображений обучение искусственной нейронной сети, ориентированной на распознавание донных объектов, получение изображения донного объекта на выходе того же средства мониторинга дна, что использовалось для получения обучающих изображений, подачу изображения на вход обученной искусственной нейронной сети, получение с выхода нейронной сети оценки вероятности соответствия обнаруженного объекта назначенному донному объекту, принятие решения о соответствии обнаруженного объекта назначенному донному объекту по результату сравнения полученной оценки вероятности с заданным пороговым значением, отличающийся тем, что цифровое изображение назначенного донного объекта на выходе средства мониторинга дна формируется путем создания трехмерной цифровой модели объекта поиска на основе описания его формы и материала с последующим ее преобразованием с использованием передаточной функции приемного тракта используемого средства мониторинга дна в цифровое изображение объекта на выходе средства мониторинга дна.