СИСТЕМА И СПОСОБ ПОДДЕРЖКИ ВЫЯВЛЕНИЯ БОЛЕЗНЕЙ РАСТЕНИЙ Российский патент 2024 года по МПК G06N3/48 G06T7/00 G06T7/10 G06V10/764 G06V10/82 

Область техники

[0001] Настоящее изобретение в целом относится к электронной обработке данных и, в частности, относится к способам обработки изображений, компьютерным программным продуктам и системам для поддержки выявления болезней растений.

Предпосылки создания изобретения

[0002] На протяжении последних лет, проводились широкомасштабные исследования в отношении методов классификации болезней растений на основе системы цветопередачи RGB (на основе красного-зеленого-синего цвета). С конца 90-х годов, для того, чтобы решить задачу автоматизированной идентификации растений, широко применялись классические подходы автоматического анализа видеоинформации (машинное зрение). Основным недостатком классических методов автоматического анализа видеоинформации, который обсуждался многими авторами, является то, что они обладают ограниченными выразительными возможностями. Указанное не дает им возможности для дальнейшего обобщения и использования большего количества изображений для обучения. Кроме того, они не способны различать болезни с едва заметными различиями в восприятии. Из-за этого, фактическое использование классических алгоритмов всегда имело сложности, и для преодоления указанных ограничений требовались методы нормализации освещения изображений.

[0003] Появление глубоких сверточных нейронных сетей (CNN - Convolutional Neural Networks) обеспечило гибкую структуру, которая позволяет определять модели, которые действуют и как описательный иерархический блок выделения признаков, и как классификатор. Архитектуры CNN могут быть расширены и адаптированы по сложности, с тем, чтобы соответствовать выразительным возможностям, которые необходимы для любой заданной задачи и доступности данных, включая задачи идентификации болезней растений на основе изображений для растений в сельскохозяйственном поле. В работе, проведенной Sladojevic и др. (Deep neural networks based recognition of plant diseases by leaf image classification; Computational Intelligence and Neuroscience 2016), применяли архитектуру, подобную AlexNet, к модели 13 различных болезней из набора данных изображений, полученных в результате онлайн поиска в интернет.В рамках инициативы PlantVillage были предприняты огромные усилия по созданию общедоступных наборов данных (Hughes, D., Salathe, М., и др., 2015. An open access repository of images on plant health to enable the development of mobile disease diagnostics. arXivpreprint arXiv: 1511.08060). Созданный ими набор данных содержит более 500000 специально отобранных на экспертном уровне изображений здоровых и инфицированных листьев 14 различных сельскохозяйственных культур (яблоня, голубика, кукуруза, виноград, и т.д.) и в общем 26 различных болезней, что позволяет их организаторам разработать классификатор идентификации болезней (Mohanty, S.P., Hughes, D.P., Salathe, М., 2016. Using deep learning for image based plant disease detection. Frontiers in Plant Science 7).

[0004] Авторы сообщили о точности своей модели на предложенном ими тестовом множестве, которое составляло 99,35%. Однако, при тестировании алгоритма в условиях, отличающихся от условий тестирования базы обучающих данных, точность упала до 31,4%.

[0005] Тот факт, что на каждом изображении присутствует только один тип болезни и что изображения получали в контролируемых условиях, составляет два основных ограничения, которые препятствуют его применению в качестве реального приложения для цифрового сельского хозяйства, где для корректного использования в условиях неконтролируемого освещения необходимо раннее выявление болезней. На основе указанного набора данных было проведено несколько исследований: Например, Brahimi и др. (2018. Deep learning for plant diseases: Detection and saliency map visualisation, в: Human and Machine Learning. Springer, стр. 93-117) проанализировали соответствие между картой значимости изображений и активизациями нейронной сети для понимания логики работы нейронной сети, получающей результаты в соответствии с уровнем техники, тогда как Tan и др. (2018. Deep learning for plant species classification using leaf vein morphometric. IEEE/ACM transactions on computational biology and bioinformatics) ограничили набор данных PlantVillage для подробного анализа и анализа с учетом специфики томатов. Недавно, нейронные сети глубокого обучения были также адаптированы для других сельскохозяйственных культур, таких как рис (Alfarisy и др., 2018. Deep learning based classification for paddy pests & diseases recognition, в: Proceedings of 2018 International Conference on Mathematics and Artificial Intelligence, ACM. стр. 21-25), виноградная лоза (Cruz, А.С, El-Kereamy, A., Ampatzidis, Y., 2018. Vision-based grapevine pierces disease detection system using artificial intelligence, в: 2018 AS ABE Annual International Meeting, American Society of Agricultural and Biological Engineers, стр. 1), пшенице (Picon и др., 2018. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild. Computers and Electronics in Agriculture) или бананы (Amara, J., Bouaziz, В., Algergawy, А., и др., 2017. A deep learning-based approach for banana leaf diseases classification., в: BTW (Workshops), стр. 79-88), и при этом некоторые недавние работы Ferentinos, К.Р. (2018. Deep learning models for plant disease detection and diagnosis. Computers and Electronics in Agriculture 145, 311-318) применяли набор данных из более 80000 изображений, с тем, чтобы успешно различать 58 отличающихся друг от друга классов из 25 различных сельскохозяйственных культур с точностью, составляющей более 99%, на основе набора тестовых данных, с помощью применения пяти хорошо известных архитектур CNN.

[0006] Помимо существующих в настоящее время достижений, проблема классификации болезней далека от решения. Масштабная работа Barbedo (J.G.A., 2016. A review on the main challenges in automatic plant disease identification на основе visible range images. Biosystems engineering 144, 52-60) очень подробно анализирует ее существующие проблемы. Указанные проблемы включают:

- Присутствие на растении нескольких одновременных болезней.

- Существование разных болезней, которые представлены подобными визуальными симптомами.

- Высокая вариативность симптомов конкретной болезни.

- Сложность получения, аннотирования и обеспечения качества набора данных.

[0007] Упомянутые выше подходы не полностью разрешают указанные проблемы, поскольку они сфокусированы на средних промежуточных и поздних симптомах, не справляются с болезнями с похожими симптомы, не поддерживают одновременное выявление болезней на одном и том же растении и не учитывают доступную информацию, относящуюся к сельскохозяйственной культуре, выходящую за рамки одних только изображений. Кроме того, недавние публикации Lu, J. и др. (2017. An in-field automatic wheat disease diagnosis system.

Computers and Electronics in Agriculture 142, 369-379) или Picon и др. (2018. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild. Computers and Electronics in Agriculture) также не решают указанных выше проблем. Lu и др. предлагают подход, основанный на MIL (многовариантном обучении - Multiple Instance Learning), который применяет полностью сверточную сеть, с тем, чтобы интегрировать рецептивное поле нейронной сети, чтобы сфокусироваться на карте активации ранних стадий болезней. Picon и др. предлагают посекционный метод, предназначенный для того, чтобы фокусироваться на ранних стадиях болезней, позволяя при этом выявлять несколько болезней на одном и том же растении.

Краткое описание изобретения

[0008] Следовательно, существует необходимость в обеспечении систем и способов с улучшенными функциями анализа изображений для выявления болезней растений, позволяющих получать более высокого качества и более надежные общие визуальные признаки, чем признаки, которые получены из независимых моделей-аналогов для отдельных сельскохозяйственных культур в предыдущем уровне техники, и которые не страдают от присутствия разных болезней с подобными симптомы на разных сельскохозяйственных культурах, и которые, кроме того, могут учитывать контекстные метаданные, связанные с сельскохозяйственной культурой, но не включенные в изображение сельскохозяйственной культуры, предназначенные для осуществления классификации болезней в зависимости от сельскохозяйственной культуры.

[0009] Термин "болезнь растения", как его используют в контексте настоящей заявки, представляет собой любое отклонение от нормального физиологического функционирования растения, которое является вредным для растения, включая, но не ограничиваясь ими, болезни растений (то есть отклонения от нормального физиологического функционирования растения), вызванные

а) грибами ("грибковая болезнь растения"),

б) бактериями ("бактериальная болезнь растения")

в) вирусами ("вирусная болезнь растения"),

г) повреждением, нанесенным насекомыми-вредителями,

д) недостатком питания растения,

е) тепловым стрессом, например, температурный режим выше 30°С,

ж) стрессом от холода, например, температурный режим ниже 10°С,

з) стрессом, вызванным засухой,

и) подверженней воздействию чрезмерного солнечного света, например, подвержение воздействию солнечного света, которое вызывает следы ожога, солнечный ожог или подобные следы облучения,

к) кислотными или щелочными значениями рН в почве со значениями

рН ниже 5 и/или выше 9,

л) стрессом, вызванным засолением, например, соленость почвы, м) загрязнением химическими веществами, например, тяжелыми

металлами, и/или

н) неблагоприятными воздействиями удобрений или средств защиты растений, например, повреждения, наносимые гербицидами,

о) пагубными погодными условиями, например, град, мороз, причиняющий повреждения ветер

[0010] Болезнь растения, вызванная грибами, упоминается как "грибковая болезнь растения", болезнь растения, вызванная бактериями, упоминается как "бактериальная болезнь растения", болезнь растения, вызванная вирусами, упоминается как "вирусная болезнь растения". Предпочтительно, болезнь растения представляет собой грибковую, бактериальную, или вирусную болезнь растения. Более предпочтительно, болезнь растения представляет собой грибковую болезнь растения.

[0011] В качестве примера, грибковые болезни растений могут быть отнесены к одному или нескольким из следующих агентов или вызваны ими: фитопатогенные грибы, включая передающиеся через почву грибы, в частности, из классов плазмодиофоромицетов, пероноспоромицетов (син. оомицеты), хитридиомицетов, зигомицетов, аскомицетов, базидиомицетов, и дейтеромицетов (син. Fungi imperfecti).

Полный перечень возбудителей болезней, которые вызывают грибковые болезни растений представлен ниже: виды Albugo (бель) на декоративных растениях, овощных культурах (например,,4. Candida) и подсолнечнике (например, A tragopogonis); виды Alternaria (альтернариоз листьев) на овощных культурах (например, A dauci или A. porri), масличном рапсе (A. brassicicola или brassicae), сахарной свекле (A. tenuis), фруктах (например,,4. grandis), рисе, соевых бобах, картофеле и томатах (например, A. solani, A. grandis или A. alternata), томатах (например, A. solani или A. alternata) и пшенице (например, A. triticina); виды Aphanomyces на сахарной свекле и овощных культурах; виды Ascochyta на зерновых культурах и овощных культурах, например, A tritici (антракноз) на пшенице и A. hordei на ячмене; Aureobasidium zeae (син. Kapatiella zeae) на кукурузе; виды Bipolaris и Drechslera (телеоморф: виды Cochliobolus), например, глазковая пятнистость листьев кукурузы (D. maydis) или гельминтоспориозная пятнистость листьев кукурузы (В. zeicola) на кукурузе, например, гельминтоспориоз корней зерновых (В. sorokiniana) на зерновых культурах и, например, В. oryzae на рисе и дернине; Blumeria (ранее Erysiphe) graminis (настоящая мучнистая роса) на зерновых культурах (например, на пшенице или ячмене); Botrytis cinerea (телеоморф: Botryotinia fuckeliana: серая гниль) на фруктах и ягодах (например, клубнике), овощных культурах (например, салате-латуке, моркови, сельдерее и капусте); В. squamosa или В. allii на луковых растениях, масличном рапсе, декоративных растениях (например, В eliptica), виноградных лозах, лесных растениях и пшенице; Bremia lactucae (ложная мучнистая роса) на салате-латуке; виды Ceratocystis (син. Ophiostoma) (гниль или увядание) на широколиственных деревьях и вечнозеленых растениях, например, С.ulmi (голландская болезнь вязов) на вязах; виды Cercospora (церкоспорозная пятнистость листьев) на кукурузе (например, серая пятнистость листьев: С.zeae-maydis), рисе, сахарной свекле (например, С.beticola), сахарном тростнике, овощных культурах, кофе, сое (например, С.sojina или С.kikuchii) и рисе; виды Cladobotryum (сип.Dactylium) (например, С.mycophilum, ранее Dactylium dendroides, телеоморф: Nectria albertinii, Nectria rosella, син. Hypomyces rosellus) на грибах; виды Cladosporium на томатах (например, С.fulvum: плесень листвы) и зерновых культурах, например, С.herbarum (чернь колоса пшеницы) на пшенице; Claviceps purpurea (спорынья) на зерновых культурах; виды Cochliobolus (анаморф: Helminthosporium of Bipolaris) (пятнистость листьев) на кукурузе (С.carbonum), зерновых культурах (например, С.sativus, анаморф: В. sorokiniana) и рисе (например, С.miyabeanus, анаморф: Н. oryzae); виды Colletotrichum (телеоморф: Glomerella) (антракноз) на хлопчатнике (например, С.gossypii), кукурузе (например, С.graminicola: антракнозная гниль стеблей), кустовых плодовых и ягодных культурах, картофеле (например, С.coccodes: точечная гниль), бобовых растениях (например, С.lindemuthianum), соевых бобах (например, С.truncatum или С.gloeosporioides), овощных культурах (например, С.lagenarium или С.capsici), фруктах (например, С.acutatum), кофе (например, С.coffeanum или С.kahawae) и С.gloeosporioides на разных сельскохозяйственных культурах; виды Corticium, например, С.sasakii (заболевание эпидермиса) на рисе; Corynespora cassiicola (пятнистость листьев) на соевых бобах, хлопчатнике и декоративных растениях; виды Cycloconium, например, С.oleaginum на оливковых деревьях; виды Cylindrocarpon (например, рак фруктовых деревьев или некроз молодой виноградной лозы, телеоморф: виды Nectria или Neonectria) на фруктовых деревьях, виноградных лозах (например, С.liriodendri, телеоморф: Neonectria liriodendri: заболевание черная ножка) и декоративных растениях; Dematophora (телеоморф: Rosellinia) necatrix (гниль стебля и корней) на сое; виды Diaporthe, например, D. phaseolorum (выпревание) на сое; виды Drechslera (син. Helminthosporium, телеоморф: Pyrenophora) на кукурузе, зерновых культурах, таких как ячмень (например, D. teres, сетчатая пятнистость) и пшеница (например, D. tritici-repentis: пиренофороз), рис и дернина; Эска (отмирание верхушек, усыхание побегов) на виноградных лозах, вызванная Formitiporia (син. Phellinus) punctata, F. mediterranea, Phaeomoniella chlamydospora (ранее Phaeoacremonium chlamydosporum), Phaeoacremonium aleophilum и/или Botryosphaeria obtusa; виды Elsinoe на семечковых культурах (E. pyri), кустовых плодовых и ягодных культурах (Е. veneta: антракноз) и виноградных лозах (Е. ampelina: антракноз); Entyloma oryzae (головня листьев) на рисе; виды Epicoccum (черная плесень) на пшенице; виды Erysiphe (настоящая мучнистая роса) на сахарной свекле (Е. betae), овощных культурах (например,

E. pisi), таких как тыквенные культуры (например, Е. cichoracearum), капуста, масличный рапс (например, Е. cruciferarum); Eutypa lata (эутипоз или отмирание верхушек, анаморф: Cytosporina lata, син. Libertella blepharis) на фруктовых деревьях, виноградных лозах и декоративных деревьях; виды Exserohilum (син. Helminthosporium) на кукурузе (например, Е. turcicum); виды Fusarium (телеоморф: Gibberella) (увядание, корней или гниль стебля) на разных растениях, такие как F. graminearum или F. culmorum (гниль корней, парша или фузариоз) на зерновых культурах (например, пшенице или ячмене), F. oxysporum на томатах, F. solani (ранее sp.Glycines, сейчас син. F. virguliforme) и

F. tucumaniae и F. Brasiliense, каждый из которых вызывает синдром внезапной гибели на сое, и F. verticillioides па кукурузе; Gaeumannomyces graminis (выпревание) на зерновых культурах (например, пшенице или ячмене) и кукурузе; виды Gibberella на зерновых культурах (например, G. zeae) и рисе (например, G. fujikuroi: баканаэ); Glomerella cingulata на виноградных лозах, семечковых культурах и других растениях и G. gossypii на хлопчатнике; зерноокрашивающий комплекс на рисе; Guignardia bidwellii (черная гниль) на виноградных лозах; виды Gymnosporangium на растениях семейства роз и можжевельнике, например, G. sabinae (ржавчина) на грушах; виды Helminthosporium (син. Drechslera, телеоморф: Cochliobolus) на кукурузе, зерновых культурах, картофеле и рисе; виды Hemileia, например, Н. vastatrix (ржавчина листьев кофе) на кофе; Isariopsis clavispora (син. Cladosporium vitis) на виноградных лозах; Macrophomina phaseolina (син. phaseoli) (гниль стебля и корней) на сое и хлопчатнике; Microdochium (син. Fusarium) nivale (фузариозная снежная плесень) на зерновых культурах (например, пшенице или ячмене); Microsphaera diffusa (настоящая мучнистая роса) на сое; виды Monilinia, например, М. laxa, М. fructicola и М. fructigena (син. Виды Monilia: усыхание цветов и ветвей, бурая гниль) на косточковых культурах и других растениях семейства роз; виды Mycosphaerella на зерновых культурах, бананах, кустовых плодовых и ягодных культурах и арахисе, например, такие как М. graminicola (анаморф: Zymoseptoria tritici, ранее Septoria tritici: септориозная пятнистость) на пшенице или М. fijiensis (син. Pseudocercospora fijiensis: болезнь черная сигатока) и М. musicola на бананах, М. arachidicola (син. М. arachidis или Cercospora arachidis), М. berkeleyi на арахисе, М. pi si на горохе и М. brassiciola на капусте; виды Peronospora (ложная мучнистая роса) на капусте (например, P. brassicae), масличном рапсе (например, P. parasitica), луковых растениях (например, P. destructor), табаке (P. tabacina) и сое (например, Р manshurica); Phakopsora pachyrhizi и P. meibomiae (ржавчина сои) на сое; виды Phialophora, например, на виноградных лозах (например, P. tracheiphila и P. tetraspora) и сое (например, P. gregata: гниль стебля); Phoma lingam (син. Leptosphaeria biglobosa и L. maculans: гниль стебля и корней) на масличном рапсе и капусте, P. betae (гниль корней, пятнистость листьев и выпревание) на сахарной свекле и P. zeae-maydis (син. Phyllostica zeae) на кукурузе; виды Phomopsis на подсолнечнике, виноградных лозах (например, P. viticola: пятнистость стебля и листьев) и сое (например, гниль стебля: P. phaseoli, телеоморф: Diaporthe phaseolorum); Physoderma maydis (бурая пятнистость) на кукурузе; виды Phytophthora (увядание, корней, листьев, плодов и стеблекорня) на разных растениях, таких как перец стручковый или красный и тыквенные культуры (например, P. capsici), сое (например, P. megasperma, син. P. sojae), картофеле и томатах (например, P. infestans: фитофторозная гниль) и широколиственных деревьях (например, Р. гатогит: внезапная гибель дуба); Plasmodiophora brassicae (кила) на капусте, масличном рапсе, редисе и других растениях; виды Plasmopara, например, P. viticola (ложная мучнистая роса виноградной лозы) на виноградных лозах и P. halstedii на подсолнечнике; виды Podosphaera (настоящая мучнистая роса) на растениях семейства роз, хмеле, семечковых и кустовых плодовых и ягодных культурах (например, P. leucotricha на яблонях) и тыквенных культурах (P. xanthii); виды Polymyxa, например, на зерновых культурах, таких как ячмень и пшеница (P. graminis) и сахарной свекле (P. betae), и передаваемые ими вирусные болезни; Pseudocercosporella herpotrichoides (син. Oculimacula yallundae, О. acuformis: глазковая пятнистость, телеоморф: Tapesia yallundae) на зерновых культурах, например, на пшенице или ячмене; Pseudoperonospora (ложная мучнистая роса) на разных растениях, например, P. cubensis на тыквенных культурах или P. humili на хмеле; Pseudopezicula tracheiphila (краснуха листьев винограда или,rotbrenner', анаморф: Phialophora) на виноградных лозах; виды Puccinia (ржавчина) на разных растениях, например, P. triticina (бурая ржавчина или ржавчина листьев), P. striiformis (полосатая пятнистость или желтая ржавчина), P. hordei (карликовая ржавчина), P. graminis (стеблевая ржавчина или черная ржавчина злаков) или P. recondita (бурая ржавчина или ржавчина листьев) на зерновых культурах, например, таких как пшеница, ячмень или рожь, P. kuehnii (оранжевая ржавчина) на сахарном тростнике и P. asparagi на спарже; виды Pyrenopeziza, например, P. brassicae на масличном рапсе; Pyrenophora (анаморф: Drechslera) tritici-repentis (пиренофороз) на пшенице или P. teres (сетчатая пятнистость) на ячмене; виды Pyricularia, например, P. oryzae (телеоморф: Magnaporthe grisea: пирикуляриоз риса) на рисе и P. grisea на дернине и зерновых культурах; виды Pythium (выпревание) на дернине, рисе, кукурузе, пшенице, хлопчатнике, масличном рапсе, подсолнечнике, сое, сахарной свекле, овощных культурах и разных других растениях (например, P. ultimum или P. aphanidermatum) и P. oligandrum на грибах; виды Ramularia, например, R. collo-cygni (рамуляриозная пятнистость листьев, физиологическая пятнистость листьев) на ячмене, R. areola (телеоморф: Mycosphaerella areola) на хлопчатнике и R. beticola на сахарной свекле; виды Rhizoctonia на хлопчатнике, рисе, картофеле, дернине, кукурузе, масличном рапсе, картофеле, сахарной свекле, овощных культурах и разных других растениях, например, R. solani (гниль стебля и корней) на сое, R. solani (заболевание эпидермиса) на рисе или R. cerealis (ризоктониозное весеннее увядание) на пшенице или ячмене; Rhizopus stolonifer (черная плесень, мягкая гниль) на клубнике, моркови, капусте, виноградных лозах и томатах; Rhynchosporium secalis и R. commune (омертвение) на ячмене, ржи и тритикале; Sarocladium oryzae и S. attenuatum (гниль эпидермиса) на рисе; виды Sclerotinia (гниль стебля или белая плесень) на овощных культурах (S. minor и S. sclerotiorum) и полевых культурах, таких как масличный рапс, подсолнечник (например, S. sclerotiorum) и соя, S. rolfsii (син. Athelia rolfsii) на сое, арахисе, овощных культурах, кукурузе, зерновых культурах и декоративных растениях; виды Septoria на разных растениях, например, S. glycines (бурая пятнистость) на сое, S. tritici (син. Zymoseptoria tritici, септориозная пятнистость) на пшенице и S. (син. Stagonospora) nodorum (стагоноспориозная пятнистость) на зерновых культурах; Uncinula (син. Erysiphe) necator (настоящая мучнистая роса, анаморф: Oidium tuckeri) на виноградных лозах; виды Setosphaeria (бактериальный ожог листьев) на кукурузе (например, S. turcicum, син. Helminthosporium turcicum) и дернине; виды Sphacelotheca (головня) на кукурузе, (например, S. reiliana, син. Ustilago reiliana: пыльная головня), сорго и сахарном тростнике; Sphaerotheca fuliginea (син. Podosphaera xanthii: настоящая мучнистая роса) на тыквенных культурах; Spongospora subterranea (настоящая мучнистая роса) на картофеле, и передаваемые ими вирусные болезни; виды Stagonospora на зерновых культурах, например, S. nodorum (стагоноспориозная пятнистость, телеоморф: Leptosphaeria [син. Phaeosphaeria] nodorum, син. Septoria nodorum) на пшенице; Synchytrium endobioticum на картофеле (рак картофеля); виды Taphrina, например, Т. deformans (болезнь курчавости листьев) на персиках и Т. pruni (кармашковая болезнь слив) на сливах; виды Thielaviopsis (черная гниль корней) на табаке, семечковых культурах, овощных культурах, сое и хлопчатнике, например, Т. basicola (син. Chalara elegans); виды Tilletia (твердая головня пшеницы или мокрая головня) на зерновых культурах, например, такие как Т. tritici (син. Т. caries, головня пшеницы) и Т. controversa (карликовая головня) на пшенице; Trichoderma harzianum на грибах; Typhula incarnata (серая снежная плесень) на ячмене или пшенице; виды Urocystis, например, U. occulta (стеблевая головня) на ржи; виды Uromyces (ржавчина) на овощных культурах, таких как бобовые растения (например, U. appendiculatus, син. U. phaseoli), сахарная свекла (например, U. betae или U. beticola), и на зернобобовых культурах (например, U. vignae, U. pisi, U. viciae-fabae и U. fabae); виды Ustilago (пыльная головня) на зерновых культурах (например, U. nuda и U. avaenae), кукурузе (например, U. maydis: пузырчатая головня кукурузы) и сахарном тростнике; виды Venturia (парша) на яблонях (например, V. inaequalis) и грушах; и виды Verticillium (увядание) на разных растениях, таких как фрукты и декоративные растения, виноградные лозы, кустовые плодовые и ягодные культуры, овощные культуры и полевые сельскохозяйственные культуры, например, V. longisporum на масличном рапсе, V. dahliae на клубнике, масличном рапсе, картофеле и томатах, и V. fungicola на грибах; Zymoseptoria tritici на зерновых культурах.

[0012] Особенно предпочтительный перечень возбудителей болезней, которые вызывают особенно значимые или предпочтительные грибковые болезни растений, представлен ниже: ржавчина на сое и зерновых культурах (например, Phakopsora pachyrhizi и P. meibomiae на сое; Puccinia tritici и P. striiformis на пшенице); плесень на культурах специального назначения, сое, масличном рапсе и подсолнечнике (например, Botrytis cinerea на клубнике и виноградных лозах, Sclerotinia sclerotiorum, S. minor и S. rolfsii на масличном рапсе, подсолнечнике и сое); фузариозные заболевания на зерновых культурах (например, Fusarium culmorum и F. graminearum на пшенице); ложная мучнистая роса на культурах специального назначения (например, Peronospora parasitica на виноградных лозах, Phytophthora infestans на картофеле); настоящая мучнистая роса на культурах специального назначения и зерновых культурах (например, Uncinula necator на виноградных лозах, виды Erysiphe на разных культурах специального назначения, Blumeria graminis на зерновых культурах); и пятнистость листьев на зерновых культурах, сое и кукурузе (например, Septoria tritici и S. nodorum на зерновых культурах, S. glycines на сое, виды Cercospora на кукурузе и сое).

[0013] Необходимо отметить, что в предыдущем уровне техники нет консенсунса относительно необходимости создания отдельных моделей нейронной сети для идентификации болезней для каждой сельскохозяйственной культуры или того, что более эффективно создавать одну модель, способную одновременно идентифицировать болезни для любого из видов анализируемых растений. При использовании одной модели в отношении нескольких сельскохозяйственных культур, вероятность существования различных болезней с подобными симптомами выше, особенно на стадии ранних симптомов, и указанное будет увеличивать вероятность ошибочных классификаций. С другой стороны, обучение модели на большем наборе данных с более высокой вариативностью будет приводить к обучению более высокого качества и более надежных визуальных признаков, общих для всех сельскохозяйственных культур.

[0014] По мере того, как указанные модели растут как по количеству обучающих изображений, так и по количеству поддерживаемых сельскохозяйственных культур и болезней, существует дихотомия создания меньшей модели для конкретной сельскохозяйственной культуры, что является намного более простой задачей, или создания единой модели в отношении нескольких сельскохозяйственных культур, что является намного более сложной задачей (в частности, на ранних стадиях болезней), но имеющее при этом преимущество применения всего набора данных изображений для ряда сельскохозяйственных культур, которые включают намного большую вариативность изображений.

[0015] Указанная выше техническая проблема решается с помощью применения архитектуры CNN, которая способна легко включать контекстные метаданные, в том числе информацию о виде растений (и необязательно, дополнительные метаданные, связанные с сельскохозяйственной культурой, например, такие как данные о погоде, температуре, и другие данные, преобладающие на соответствующем поле), что позволяет обучать одну модель в отношении нескольких сельскохозяйственных культур, которая:

- получает более высокого качества и более надежные общие визуальные признаки, чем аналоги для отдельных сельскохозяйственных культур,

- не страдает от присутствия разных болезней с подобными симптомы на разных сельскохозяйственных культурах, и

- легко интегрирует контекстные метаданные для осуществления классификации болезней в зависимости от сельскохозяйственной культуры.

[0016] Для подхода, раскрытого в этой заявке, набор данных по пшенице, который применяли в документе Picon и др., содержащий 8178 изображений поля, был расширен. Расширенный набор данных включает в себя болезни, вызываемые Septoria (Septoria triciti), пиренофороз (Drechslera triciti-repentis) и ржавчину (Puccinia striiformis, Puccinia recondita) в отношении более 36 сортов растений пшеницы. К уже имеющимся видам озимой пшеницы (Triticum aestivum) было добавлено три новые сельскохозяйственные культуры: кукуруза (Zea mays), рапс (Brassica napus) и озимый ячмень (Hordeum vulgare).

[0017] Увеличилось количество болезней озимой пшеницы, включая пять различных болезней (Septoria tritici, Puccinia striiformis, Puccinia recondita, Septoria nodorum и Drechslera tritici-repentis). Для кукурузы, в базу данных было включено заболевание, вызываемое Helminthosporium turcicum, при том, что культура рапса включает заболевание, вызываемое Phoma lingam, и культура озимого ячменя включает четыре различных заболевания: Pyrenophora teres, Ramularia collo-cygni, Rhynchosporium secalis и Puccinia hordei, содержащую в общем 100 734 изображений, как показано в справочной таблице 1 на ФИГ. 7А.

[0018] При применении существующих топологий CNN предыдущего уровня техники для задачи идентификации болезней нескольких сельскохозяйственных культур, которые обучались с помощью полного набора данных для нескольких сельскохозяйственных культур, где присутствуют разные болезни с подобными симптомы, общая производительность обученной модели резко снижается. Кроме того, при создании отдельных моделей классификации для каждой сельскохозяйственной культуры не используется преимущество информации о других сельскохозяйственных культурах, в частности, о сельскохозяйственных культурах и/или болезнях с небольшим количеством изображений. То есть, не возникает синергии, полученной в результате информации в отношении нескольких сельскохозяйственных культур.

[0019] Раскрытый в этой заявке подход применения расширенной топологии CNN, интегрирующей информацию о виде растений в качестве дополнительной информации к входному изображению в полном наборе данных для нескольких сельскохозяйственных культур, превосходит производительность, полученную с помощью двух способов, упомянутых выше, за счет использования преимущества визуальной информации и вариативности полного набора данных, и при этом не страдает от воздействия болезней с похожими видимыми признаками на других сельскохозяйственных культурах. В общем, топология нейронной сети относится к способу соединения нейронов в нейронной сети.

[0020] Для указанной цели, проверяется набор данных из ста тысяч изображений, содержащий одинаково распределенные стадии болезней двенадцати болезней и четырех сельскохозяйственных культур (пшеница, ячмень, кукуруза и рапс), по которым модели классификации болезней, которые обучались независимо для каждого набора данных в отношении сельскохозяйственных культур, получают более низкую производительность (ВАС=0,85), чем единая модель, которая обучалась для задачи с несколькими сельскохозяйственными культурами посредством применения всего набора данных (ВАС=0,94). Предложенная новая архитектура CNN с расширенной топологией, которая описана в независимых пунктах формулы изобретения, способна включать информацию о виде сельскохозяйственной культуры в дополнение к входным данным изображения, показывающим часть растения сельскохозяйственной культуры, подлежащую анализу. Это сочетает в себе преимущества, заключающиеся в том, что, с одной стороны, сложность задачи классификации снижается до сложности подхода для отдельных сельскохозяйственных культур, при том, что, с другой стороны, имеется возможность применения для обучения всего набора данных для нескольких сельскохозяйственных культур. Предложенная нейронная сеть обеспечивает сбалансированную точность ВАС, составляющую 0,97, улучшая все известные способы предыдущего уровня техники.

[0021] В одном варианте осуществления, обеспечивается компьютерная система для выявления болезней растений. Компьютерная система включает в себя компонент хранения данных, который хранит структуру данных сверточной нейронной сети (CNN). CNN обучалась с помощью набора данных для нескольких сельскохозяйственных культур. Этот набор обучающих данных включает ряд входных изображений, которые показывают части (или отдельные элементы, такие как листья) разных сельскохозяйственных культур. Таким образом, каждое из входных изображений в наборе обучающих данных показывает либо часть конкретной сельскохозяйственной культуры с одним или несколькими симптомами болезни, связанными с одной или несколькими из рассматриваемых болезней, либо оно показывает часть конкретной сельскохозяйственной культуры с абиотическими проявлениями, либо оно показывает здоровую часть конкретной сельскохозяйственной культуры. Рассматриваемые болезни, как их используют в этой заявке, представляют собой такие болезни, в отношении которых обучалась CNN и, следовательно, ожидается, что при этом будут обеспечены значимые результаты классификации входных изображений, которые показывают части сельскохозяйственных культур с симптомами, которые являются характерными по меньшей мере для одной из рассматриваемых болезней. Другими словами, входные изображения, применяемые для обучения CNN, включают все типы элементов растения разных сельскохозяйственных культур, при этом элементы растения могут выглядеть здоровыми или могут демонстрировать определенные симптомы болезни, или могут демонстрировать признаки, которые не являются характерными для рассматриваемой болезни. Для достижения хороших результатов классификации, на ряде обучающих входных изображений должны присутствовать все указанные три категории изображений, что является достаточным для установления соответствующих весов в CNN.

[0022] CNN имеет расширенную топологию, которая включает в себя ветвь изображений на основе сверточной нейронной сети классификации (например, архитектуры RESNET*, например, такую как топология RESNET50, DenseNet, VGGNet, и т.д.), предназначенную для классификации входных изображений в соответствии с определенными признаками болезней растений. Кроме того, расширенная топология включает в себя ветвь идентификации

сельскохозяйственной культуры, предназначенную для добавления информации о видах растений. Такая информация о видах растений может быть идентификатором сельскохозяйственной культуры. Например, идентификатор сельскохозяйственной культуры может представлять собой категориальный вектор К-компонентов, где К представляет собой количество классов сельскохозяйственных культур (то есть, количество различных типов сельскохозяйственных культур), которые учитываются при обучении модели на основе CNN, и может быть представлен соответствующим тензором или вектором. Необходимо отметить, что в некоторых вариантах осуществления, посредством ветви идентификации сельскохозяйственной культуры также могут добавляться дополнительные метаданные (например, погодные данные или температурный режим в поле). Выходные данные ветви изображений и ветви идентификации сельскохозяйственной культуры затем интегрируются с помощью интегратора ветвей расширенной топологии, который выполнен с возможностью интегрирования информации о видах растений с каждым входным изображением, при этом информация о видах растений определяет сельскохозяйственную культуру на соответствующем входном изображении, с которым она интегрируется. Способы обучения CNN с расширенной топологией раскрыты более детально в подробном описании.

[0023] Кроме того, компьютерная система содержит интерфейс для получения тестовых входных данных с изображением конкретной сельскохозяйственной культуры, показывающих один или несколько конкретных симптомов болезней растений. Указанное изображение должно быть проклассифицировано с помощью компьютерной системы в соответствии с предполагаемыми болезнями на основе соответствующего(-их) симптома(-ов) болезни растения. Кроме того, через интерфейс, компьютерная система получает соответствующий идентификатор сельскохозяйственной культуры, связанный с тестовыми входными данными. Например, сельскохозяйственный работник может выявить на сельскохозяйственном поле лист сельскохозяйственной культуры, демонстрирующий некоторые признаки, которые подобны с симптомами болезни растений. Сельскохозяйственный работник также может сфотографировать часть сельскохозяйственной культуры с симптомами, например, с помощью RGB-камеры мобильного устройства (например, смартфона, планшетного компьютера, и т.д.), которое соединено с возможностью связи с компьютерной системой через коммуникационную сеть. Сельскохозяйственный работник также знает, к какому типу относится данная сельскохозяйственная культура, и может отправить изображение вместе с соответствующим идентификатором сельскохозяйственной культуры в компьютерную систему, где оно получено через указанный интерфейс.Конечно, изображения могут быть записаны с помощью любого другого подходящего устройства записи изображений, например, такого как DSLR-камера (цифровая однообъективная зеркальная камера), или многоспектральная камера. Камеру не обязательно использовать вручную, а она также может быть установлена на роботе, тракторе или дроне. Например, с помощью дронов, можно легко получить изображения растений в поле в вертикальном ракурсе.

[0024] Затем компьютерная система может применять обученной сверточной сети к полученным тестовым входным данным, которые включают тестовое изображение и идентификатор сельскохозяйственной культуры. В случае, когда обученная CNN применяется к тестовым входным изображениям, связанным с информацией идентификатора сельскохозяйственной культуры, она работает как модуль классификатора компьютерной системы и предоставляет результат классификации в соответствии с выходным вектором сверточной нейронной сети. Результат классификации указывает на одну или несколько болезней растений, связанных с одним или несколькими конкретными симптомами болезней растений на тестовом входном изображении. Результат классификации может быть показан на устройстве вывода, которое соединено с возможностью связи с компьютерной системой. Например, в указанном выше примере с сельскохозяйственным работником, результат классификации может быть отправлен на мобильное устройство сельскохозяйственного работника в ответ на тестовые входные данные. При этом было продемонстрировано, что даже в случае, когда ID сельскохозяйственной культуры водится ошибочно, то компьютерная система все же может обеспечивать лучшие возможности для выявления болезней растений, чем системы предыдущего уровня техники.

[0025] В одном варианте осуществления, компьютерная система также может включать обучающий модуль, который может получать доступ к соответствующему набору обучающих данных для обучения CNN с помощью ряда обучающих входных изображений, достаточно большого для достижения стабильной конфигурация CNN, позволяющей обеспечивать надежные результаты классификации болезней сельскохозяйственных культур. Для каждого обучающего изображения, набор обучающих данных включает в себя связанный с ним идентификатор сельскохозяйственной культуры и связанный с ним набор идентификаторов болезней (то есть, идентификаторы таких болезней, которые присутствуют на обучающем изображении). В качестве альтернативы, обучение CNN может происходить в специально предназначенной для этого обучающей системе, и затем обученная структура данных CNN копируется в хранилище данных компьютерной системы.

[0026] В одном варианте осуществления, компьютерная система дополнительно включает в себя модуль обрезки изображений, выполненный с возможностью обрезания нового входного изображения, включающего часть растения сельскохозяйственной культуры (например, конкретный лист, стебель, метелка, и т.д.), до области, окружающей указанную часть растения. Обрезка, в общем, представляет собой удаление нежелательных внешних областей из фотографического или показанного изображения. Процесс обычно включает удаление некоторых периферийных областей изображения, с тем, чтобы удалить из изображения все ненужное, для улучшения его кадрирования, для того чтобы изменить пропорции, или выделить или отделить объект от его фона, и/или сфокусироваться на едва заметных ранних симптомах меньшего размера, которые в противном случае могли бы быть потеряны на фоне всего изображения. В одном варианте осуществления, основной лист может сегментироваться нейронной сетью сегментации с использованием попиксельной категориальной функции кросс-энтропийных потерь, дополняемой членом полной вариации. В качестве альтернативы, может применяться любая нейронная сеть сегментации, которая может выполнять подходящую сегментацию, например, такая как полностью сверточная плотная сеть, PSPNet, SegNet, и т.д. Как правило, такие сети обучаются с указанной выше категориальной кросс-энтропийной потерей, но существуют и другие варианты, например, такие как бинарная кросс-энтропия, индекс Жаккарда, коэффициент Соренсена-Дайса и другие. Кроме того, некоторые сети сегментации не используют член полной вариации для обучения.

[0027] Далее, раскрыто три различных варианта осуществления расширенной топологии CNN.

[0028] В первом варианте осуществления, топология CNN включает в себя топологию магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, предназначенной для изучения представлений изображений в качестве наборов признаков высокого уровня. Например, топология магистрали может быть предварительно обучена с помощью Imagenet (массивной базы данных аннотированных изображений) или другого набора данных, подходящего для апостериорной тонкой настройки для идентификации болезней сельскохозяйственных культур. Например, остаточная нейронная сеть может применяться в качестве магистрали, например, такая как глубокая сверточная нейронная сеть ResNetSO с 50-ю слоями. Другие варианты семейства ResNet (например, ResNetlOl, ResNetl52, SE-ResNet, ResNeXt, SE-ResNeXt, или SENetl54) или другие семейства CNN классификации изображений (например, DenseNet, Inception, MobileNet, EfficientNet, Xception или VGG) также могут применяться. В разделе 4 процитированной выше работы Picon и др., подробное описание архитектуры магистрали ResNetSO представлено в контексте выявления болезней растений. Однако, специалист в этой области в качестве топологии магистрали также может применять другие CNN классификации. Кроме того, могут применяться другие типы предварительного обучения/инициализации, включая, но не ограничиваясь ими: предварительное обучение на основе Imagenet, идентификацию сельскохозяйственной культуры (а не болезни сельскохозяйственной культуры), или инициализацию со случайными весами (то есть обучение магистрали с нуля). В предпочтительном варианте осуществления, магистраль обучается на объединенном наборе данных Imagenet+набор данных для идентификации болезней сельскохозяйственных культур.

[0029] За топологией магистрали следует слой представления изображения с операцией подвыборки по среднему значению (англ.: average pooling operation). То есть, выходные данные магистрали подаются на слой представления изображения, который затем интегрирует признаки высокого уровня входного изображения. В то время, как признаки низкого уровня представляю собой мелкие детали изображения, такие как линии или точки, которые могут обнаруживаться с помощью сверточного фильтра или с помощью алгоритмов SIFT или HOG (которые, например, реагируют на края/градиенты и углы, считающиеся признаками низкого уровня в конвейере обработки видеоданных), признаки высокого уровня изображения строятся поверх признаков низкого уровня для выявления объектов и более крупных форм на изображении. При этом слой представления изображения по существу не выполняет какой-либо операции. Необходимо отметить, что иногда в контексте нейронных сетей термин „слой" используется только для слоев, которые выполняют фактические операции. Однако, используемый в этой заявке термин "слой", когда его используют в контексте "слой представления изображения" также относится к выходному „тензору", полученному в результате операции, выполненной в предыдущем слое. Затем, операция переформатирования сопоставляет размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры. Операция переформатирования не изменяет ни одного из чисел в CNN, а всего лишь смотрит на числа иным образом. Другими словами, переформатирование просто представляет собой способ представления выходного или любой промежуточного тензора/представления желательным образом.

[0030] Затем, за слоем представления изображения следует слой конкатенации, агрегирующий идентификатор сельскохозяйственной культуры, полученный посредством ветви идентификации сельскохозяйственной культуры, в выходные данные слоя представления изображения, посредством объединения описательных признаков изображений из слоя представления изображения с информацией о видах растений, которые присутствуют на соответствующем изображении. В указанном варианте осуществления, ветвь идентификатора сельскохозяйственной культуры может рассматриваться в качестве обходного пути к магистрали, где информация идентификатора сельскохозяйственной культуры объединяется непосредственно с выходными данными ветви изображений в слое конкатенации. Например, идентификатор сельскохозяйственной культуры может быть категориальным вектором К-компонентов, где К представляет собой количество классов сельскохозяйственных культур (то есть, количество различных типов сельскохозяйственных культур), которые учитываются при обучении модели CNN. В таком случае, указанный вектор имеет значение "1" для компонента, соответствующего его классу сельскохозяйственной культуры, и значение "О" для других компонентов. Вектор сельскохозяйственной культуры непосредственно агрегируется слоем конкатенации в слой представления изображения. Это дает совместную активацию, которая объединяет описательные признаки изображений из слоя представления изображения с информацией о видах растений (сельскохозяйственных культур), как показано на изображении.

[0031] Затем, за слоем конкатенации следует плотный слой (все нейроны связаны с всеми входами и всеми выходами) для отображения взаимосвязей между признаками высокого уровня изображений и соответствующими сельскохозяйственными культурами с прогнозами болезней с помощью применения сигмоидной функции активации. В качестве альтернативы, может быть большее количество расположенных друг над другом слоев для реализации слияния ветвей изображений и идентификатора сельскохозяйственных культур после создания ветвей. Этот последующий полносвязный слой отвечает за отображение взаимосвязей между признаками высокого уровня изображения и соответствующей сельскохозяйственной культурой с прогнозами болезней.

[0032] Для указанной выше расширенной топологии CNN, представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно (то есть, в том же прогоне обучения). Однако, магистраль может предварительно обучаться с помощью набора данных, подходящего для апостериорной тонкой настройки, например, такого как набор данных Imagenet. Типичная тонкая настройки включает в себя замораживание весов из первых слоев магистральной сети и выполнение обучения, где изменяются веса только из последних слоев. Это поддерживает описание низкого уровня, которое обучалось на основе предварительно обученного набора данных и изменяет только отображение высокого уровня. То есть, в типичной настройке, вначале обучается магистраль, а затем совместно обучаются слой представления изображения и последующее отображение болезней сельскохозяйственных культура. Изученные визуальные признаки, которые являются общими для всех сельскохозяйственных культур, позволяют получить более представительное представление набора данных.

[0033] Во втором варианте осуществления, топология сверточной нейронной сети снова включает в себя топологию магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, предназначенной для изучения представлений изображений в качестве наборов признаков высокого уровня. Опять таки, топология магистрали может предварительно обучаться с помощью набора данных для идентификации болезней сельскохозяйственных культур, который описан раннее. Магистраль может быть такой же, как в первом варианте осуществления. Как и в первом варианте осуществления, за топологией магистрали следует слой представления изображения с операцией подвыборки по среднему значению, интегрирующей признаки высокого уровня, а также операция переформатирования, которая сопоставляет размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры. Также, слой представления изображения может быть таким же, как в первом варианте осуществления.

[0034] Однако, второй вариант осуществления следует другому побуждению к действию, чем первый вариант осуществления. В данном случае, вектор идентификатора сельскохозяйственной культуры не конкатенируется в качестве дополнительного признака, как в топологии в соответствии с первым вариантом осуществления. Вместо этого, он применяется для подавления активации определенных визуальных признаков, в случае, если они не имеют отношения к тому виду растения, который показан на данном тестовом изображении.

[0035] В указанном варианте осуществления, ветвь идентификации сельскохозяйственной культуры не просто обходит магистраль, но включает в себя плотный слой непосредственно связанный с идентификатором сельскохозяйственной культуры. Количество нейронов плотного слоя соответствует количеству признаков на слое представления изображения. Сигмоидная функция активации применяется для отображения полученных выходных данных плотного слоя в диапазоне [0,1]. Указанный вариант осуществления можно рассматривать как наиболее простой случай. В общем, ветвью идентификатора сельскохозяйственной культуры может быть любая CNN/набор слоев, который сопоставляет входные данные идентификатора сельскохозяйственной культуры с тензором/вектором представления идентификатора сельскохозяйственной культуры.

[0036] Выходные данные слоя представления изображения и плотный слой подаются на слой умножения, с тем, чтобы интегрировать выходные данные сигмоидной функции активации со слоем представления изображения посредством поэлементного умножения. Таким образом, вид растения (сельскохозяйственная культура), который показан на изображении, модулирует ответ обученных визуальных дескрипторов, уменьшая таким образом влияние несоответствующих видов.

[0037] Затем, за слоем умножения следует дополнительный плотный слой, предназначенный для отображения взаимосвязей между признаками высокого уровня изображения и соответствующих сельскохозяйственных культур с прогнозами болезней, с помощью применения дополнительной сигмоидной функции активации. В качестве альтернативы, может быть большее количество расположенных друг над другом слоев для реализации слияния ветвей изображений и идентификатора сельскохозяйственных культур после создания ветвей. Опять таки, в указанном втором варианте осуществления, представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

[0038] В третьем варианте осуществления, также применяется концепция мультипликативного подавления активизаций. Однако, в указанном случае, подавление осуществляется непосредственно на основе окончательных прогнозов CNN, просто подавляя активизацию болезней, которых нет на представленных видах растений. То есть, болезни, которые не соответствуют идентификатору сельскохозяйственной культуры, подавляются. Болезнь не соответствует идентификатору сельскохозяйственной культуры, если такая болезнь в отношении сельскохозяйственных культур, относящихся к типу сельскохозяйственной культуры, представленной идентификатором сельскохозяйственной культуры, не возникает.

[0039] Топология сверточной нейронной сети, опять таки, включает в себя топологию магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, предназначенной для изучения представлений изображений в качестве наборов признаков высокого уровня. Топология магистрали может предварительно обучаться для идентификации болезней сельскохозяйственных культур. Магистраль может быть такой же, как в первом варианте осуществления. Как в первом варианте осуществления, за топологией магистрали следует слой представления изображения с операцией подвыборки по среднему значению, интегрирующей признаки высокого уровня.

[0040] За слоем представления изображения следует первый плотный слой, предназначенный для сопоставления признаков высокого уровня изображения с прогнозами болезней посредством применения первой сигмоидной функции активации.

[0041] Второй плотный слой в ветви идентификации сельскохозяйственной культуры непосредственно связан с идентификатором сельскохозяйственной культуры, причем количество нейронов полносвязного плотного слоя соответствует количеству признаков на слое представления изображения. Вторая сигмоидная функция активации применяется для отображения полученных выходных данных второго плотного слоя в диапазоне [0,1]. Опять таки, в указанное варианте осуществления, как правило, ветвью идентификатора сельскохозяйственной культуры может быть любая CNN/набор слоев, который сопоставляет входные данные идентификатора сельскохозяйственной культуры с тензором/вектором представления идентификатора сельскохозяйственной культуры.

[0042] За первым и вторым плотными слоями с их сигмоидными функциями активации следует слой умножения, предназначенный для подавления активизации болезней, которые были спрогнозированы с помощью первого плотного слоя, но не присутствуют на видах растений, представленных идентификатором сельскохозяйственной культуры. Указанное, опять таки, достигается посредством выполнения поэлементного умножения активизаций.

[0043] Опять таки, представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственной культуры изучаются совместно.

[0044] Дополнительные аспекты изобретения будут реализованы и достигнуты с помощью элементов и комбинаций, в частности, описанных в приложенной формуле изобретения. Необходимо понимать, что как представленное выше общее описание, так и следующее далее подробное описание, являются только примерными и пояснительными, и не ограничивают описанное изобретение.

Краткое описание графических материалов

ФИГ. 1 включает в себя блок-схему компьютерной системы для выявления болезней растений в соответствии с одним вариантом осуществления;

ФИГ. 2 представляет собой упрощенную блок-схему компьютеризованного способа для в соответствии с одним вариантом осуществления;

ФИГУРЫ 3-5 показывают три альтернативных варианта осуществления топологии сверточной нейронной сети, которые могут применяться компьютерной системой;

ФИГУРЫ 6А, 6Б, 6В показывают разные примеры входных изображений;

ФИГ. 7А представляет собой таблицу, отображающую базу данных для обучения для обучения сверточной нейронной сети;

ФИГУРЫ 7Б-7Г включают в себя таблицы, иллюстрирующие показатели для измерения производительности алгоритма сверточной нейронной сети магистральных нейронных сетей предыдущего уровня техники и алгоритма сверточной нейронной сети с расширенной топологией;

ФИГ. 8 представляет собой схематическое изображение, которое показывает пример универсального компьютерного устройства и универсального мобильного компьютерного устройства, которые могут применяться с методами, описанными в этой заявке.

Подробное описание

[0045] ФИГ. 1 показывает блок-схему компьютерной системы 100 для выявления болезней растений. Система содержит интерфейс ПО, который позволяет получать внешние данные 10, 20. Компьютерная система 100 может работать для выполнения компьютеризованного способа 1000 выявления болезней растений, как показано с помощью упрощенной блок-схемы на ФИГ. 2. ФИГ. 1 описана в контексте ФИГ. 2. Следовательно, следующее далее описание относится к ссылочным обозначениям на ФИГ. 1 и ФИГ. 2, в соответствующих случаях.

[0046] Посредством интерфейса 110, компьютерная система 100 получает изображения (например, тестовое входное изображение 10) конкретной сельскохозяйственной культуры 1, которое показывает один или несколько конкретных симптомов болезни растения. Например, такие тестовые входные изображения могут быть записаны с помощью камеры 90. Например, пользователь (например, сельскохозяйственный работник) может применять в поле цифровую камеру (например, камеру смартфона или планшетного компьютера), которая связана с коммуникационной сетью (например, мобильной коммуникационной сетью), позволяя передавать данные изображения в компьютерную систему 100. Затем пользователь может делать фотоснимки разных частей сельскохозяйственных культур (например, листья или другие части растения сельскохозяйственной культуры), которые по-видимому, показывают симптомы болезни(-ей) растений. Предполагается, что конкретное передаваемое входное изображение 10 показывает по меньшей мере часть 11 указанной конкретной сельскохозяйственной культуры 10. Кроме того, пользователь в поле, как правило, знает тип сельскохозяйственной культуры, которая растет в указанном поле. Следовательно, пользователь передает соответствующий идентификатор 20 сельскохозяйственной культуры (ID сельскохозяйственной культуры), связанный с входным изображением 10. Затем, ID сельскохозяйственной культуры и тестовое входное изображение получает 1100 компьютерная система 100 через интерфейс 110. Необязательно, пользователь может предоставлять компьютерной системе дополнительную информацию 21. Такие дополнительные данные 21 могут относиться к дополнительным внешним данным, которые определяют конкретные условия окружающей среды в поле, связанные с соответствующей сельскохозяйственной культурой. Например, погодные условия, состояние почвы, или другие данные об окружающей среде, которые могут иметь воздействие на болезни растений, также могут быть получены компьютерной системой.

[0047] Компьютерная система 100 включает в себя модули, которые адаптированы для выявления присутствия одной или нескольких болезней растений, которые присутствуют на сельскохозяйственной культуре 1, посредством применения 1200 усовершенствованной обработки изображений к соответствующему тестовому входному изображению 10 в сочетании с полученной информацией ID сельскохозяйственной культуры. Один из таких модулей выполнен в виде сверточной нейронной сети 120 (CNN), которая хранится в компоненте хранения данных компьютерной системы 100. CNN 120 является частью классификатора 130, реализованного с помощью компьютерной системы, который предоставляет прогнозы о возможных болезнях на устройство 50 вывода. Например, устройство 50 вывода может быть тем же устройством, которое применяется пользователем для предоставления тестовые входные данные в компьютерную систему. То есть, пользователь может делать фотоснимок сельскохозяйственной культуры 1 и передавать фотоснимок вместе с ID сельскохозяйственной культуры в компьютерную систему и, в свою очередь, пользователь получает из компьютерной системы прогнозы болезней, сделанные классификатором 130, в виде ответа системы.

[0048] В одном варианте осуществления, компьютерная система может дополнительно включать модуль обрезки (или обрезания) изображений, выполненный с возможностью обрезки (обрезания) нового входного изображения, включая основную часть растения с основным листом или основным стеблем или основной метелкой сельскохозяйственной культуры, до области, окружающей основную часть. Основной лист может сегментироваться нейронной сетью сегментации с попиксельной категориальной функцией кросс-энтропийных потерь, дополняемой членом полной вариации. Такой подход обрезания листа по маске описан подробно в Picon и др. (2018).

[0049] CNN 120 предварительно обучается с помощью набора данных для нескольких сельскохозяйственных культур. Набор обучающих данных включает в себя входные изображения, показывающие разные сельскохозяйственные культуры (то есть разные типы сельскохозяйственных культур). Каждое из обучающих входных изображений показывает часть конкретной сельскохозяйственной культуры. Таким образом, набор обучающих данных включает в себя изображения с одним или несколькими симптомами болезни, связанными с одной или несколькими из рассматриваемых болезней, а также изображения, показывающие часть конкретной сельскохозяйственной культуры с абиотическими проявлениями (проявления, относящиеся к неживым частям любой естественной среды обитания), а также изображения, показывающие здоровую часть конкретной сельскохозяйственной культуры. Другими словами, набор обучающих данных включает в себя изображения с признаками, указывающими на наличие биотических и абиотических факторов стресса растений, например, такие как: повреждение, нанесенное насекомыми-вредителями, недостаток питания, стресс, вызванный засухой, вирусами, бактериями, повреждение в виде рубцевания, солнечный ожог, и т.д.

[0050] Для описываемой в этой заявке работы, набор данных по пшенице, который применяли у Picon и др. (2018), содержащий 8178 изображений, полученных с поля, был расширен. Указанный набор данных включал болезни, вызванные Septoria (Septoria triciti), пиренофороз (Drechslera triciti-repentis) и ржавчину (Puccinia striiformis, Puccinia recondita) в отношении более 36 сортов растений пшеницы. К уже имеющемуся виду озимой пшеницы (Triticum aestivum) было добавлено три новых сельскохозяйственных культуры: кукуруза (Zea mays), рапс (Brassica napus) и озимый ячмень (Hordeum vulgare).

[0051] Количество болезней озимой пшеницы увеличили посредством включения пяти различных болезней (Septoria tritici, Puccinia striiformis, Puccinia recondita, Septoria nodorum и Drechslera tritici-repentis). Для кукурузы, в базу данных была включена болезнь Helminthosporium turcicum, при том, что для культуры рапса была включена болезнь Phoma lingam, и для культуры озимого ячменя было включено четыре различных болезни: Pyrenophora teres,Ramularia collo-cygni, Rhynchosporium secalis и Puccinia hordei, которые, в общем, содержали 100 734 изображений, как показано в Таблице 1 на ФИГ. 7А.

[0052] Для оптимальной борьбы с вредителями, является предпочтительным выявлять болезни на ранних стадиях развития симптомов, с тем, чтобы гарантировать соответствующие и эффективные меры, адаптированные к соответствующей стадии инфекции. По этой причине, созданный набор обучающих данных содержит изображения на четырех различных стадиях инфекции с примерно равными долями (например, долями в диапазоне между 15% и 35%) в целом ряде входных изображений, которые применяли для обучения сверточной нейронной сети, относящихся к разным стадиям инфекции. Например, примерно 25% изображений относится к начальным стадиям инфекции, 25% изображений относится к ранним стадиям, 25% изображений относится к средним стадиям, и 25% изображений относится к поздним стадиям. В случае определения большего количества стадий инфекции, процентное соотношение долей корректируется соответствующим образом. В результате получают набор данных высокой сложности, в котором, особенно в случае ранних симптомов, разные болезни вызывали подобные или слегка отличающиеся симптомы, с которыми сложно справиться с помощью применения общих алгоритмов. Примеры изображений в наборе данных представлены на ФИГУРАХ 6А, 6Б, 6В.

[0053] Набор обучающих данных включает в себя болезни, которые вызывают очень похожие симптомы, особенно на ранних стадиях. В этом смысле, до возникновения типичных визуальных проявлений болезни, очень распространенным проявлением является то, что листья демонстрируют различные формы хлорозов. Не только в случае биотического стресса, но также в случае абиотического стресса, таким образом дополнительно усложняя точное определение болезни. Например, начальные симптомы Puccinia recondita и Puccinia striiformis на пшенице, а также Ramularia collo-cygni и Puccinia hordei на ячмене показывают очень похожие хлорозы, как видно на ФИГУРАХ 6А и 6Б, осветление небольших пятен с небольшими различиями по цвету и форме. В случае, когда на хлорозе появляется типичное скопление спор, то лечение, по большей части, уже слишком поздно, что подчеркивает сложность и важность раннего выявления. Кроме того, также существуют болезни, где не только ранние заражения выглядят вполне подобными, но также сложно различить и поздние стадии. Что касается Septoria tritici и Septoria nodorum, то они оба имеют аналогичное развитие болезни. Сначала можно увидеть хлорозы, которые переходят в некрозы, и в конце на некрозах появляются бурая или черная пикнида.

[0054] Получали изображения верхней поверхности листа или других частей растений, например, таких как стебель или метелка. Их фотографировали, избегая прямого солнечного света. Никаких других ограничений техническим специалистам для воспроизведения реальных условий получения снимков не предъявлялось. При этом избегали применения дополнительной нормализации цветовых элементов, так как они нецелесообразны при получении изображений поля, как показано у Johannes и др. (2017. Automatic plant disease diagnosis using mobile capture devices, applied on a wheat use case. Computers and Electronics in Agriculture 138, 200-209.). Все новые изображения обрезали (обрезка) до области, окружающей их основной лист, следуя подходу обрезания листа по маске, предложенному Picon и др. (2018). Для этого, основной лист или основной стебель или основная метелка на каждом изображении были автоматически сегментированы полностью сверточной сетью DenseNet (Jegou и др. (2017)), причем попиксельная категориальная функция кросс-энтропийных потерь была дополнена членом полной вариации, который выбраковывает сегментацию несоответствующих областей. Каждое изображение было также помечено с все болезни, которые представлены на схеме с несколькими метками, где изображение может иметь несколько болезней.

[0055] CNN 120 имеет расширенную топологию, которая включает в себя:

- ветвь 121 изображений на основе сверточной нейронной сети классификации, предназначенной для классификации входных изображений в соответствии с определенными признаками болезней растений,

- ветвь 122 идентификации сельскохозяйственной культуры для добавления информации о видах растений, и

- интегратор 123 ветвей для интегрирования информации о видах растений с каждым соответствующим входным изображением. Таким образом, информация 20 о видах растений определяет сельскохозяйственную культуру на соответствующем входном изображении 10. Как описано раннее, ID сельскохозяйственной культуры получают через интерфейс 110 вместе с соответствующим входным изображением.

[0056] CNN 120 является частью модуля 130 классификатора, который применяет 1200 обученную CNN 120 к полученным тестовым входным данным. CNN 120 предоставляет выходной вектор. В соответствии с указанным вектором выходных данных, классификатор 130 предоставляет 1300 результат CR1 классификации, указывающий на одну или несколько болезней растений, связанные с одним или несколькими конкретными симптомами болезни растений, видимыми на тестовом входное изображение. Результат CR1 классификации могут интерпретироваться в качестве прогноза болезней в отношении болезней, связанных с указанными симптомами.

[0057] Применение описанного выше подхода к обучению в отношении нескольких сельскохозяйственных культур является предпочтительным, по сравнении с применением независимых моделей для отдельных сельскохозяйственных культур. Ветвь 121 изображений описанной топологии CNN включает в себя топологию магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, предназначенной для изучения представлений изображений в виде наборов признаков высокого уровня. Слои сети постепенно изучают фильтры, которые представляют различные пространственные части изображения, в то время, как одновременно только максимальные ответы для этих изученных фильтров сохраняются в каждой пространственной окрестности в результате применения слоев подвыборки по максимальному значению. Специалист в области в методов нейронной сети может применять для такой магистрали различные архитектуры, включая, но не ограничиваясь ими: архитектуру RESNET*, например, такую как топология RESNET50, архитектуру DenseNet, архитектуру VGGNet, или любые другие подходящие сверточные нейронные сети классификации. Такая топология магистрали не включает никакой информации о сельскохозяйственной культуре в качестве входной информации. Например, магистраль может быть получена из топологии ResNet50, представленной у Не и др. (2016. Deep residual learning for image recognition, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, стр. 770-778.). Нейронная сеть ResNet50 состоит из 50 слоев с двумя начальными последовательными свертками с ядром 3×3, за которыми следуют операции подвыборки по максимальному значению из квадрата 3×3. За этим следует набор последовательных остаточных блоков, которые постепенно уменьшают пространственную область изображения с одновременным увеличением области признаков, которые способны изучать представление изображения как набор из 7×7×2048 признаков высокого уровня, которые, наконец, интегрируются операцией подвыборки по среднему значению, с тем, чтобы получить слой представления изображения с 2048-ю признаками. Более подробное описание этого примера топологии магистрали можно найти у Picon и др. (2018) в разделе 4.3 "Топология нейронной сети" и на соответствующих фигурах 7 и 8.

[0058] Магистраль обучается на основе полного набора данных, содержащему все сельскохозяйственные культуры и служащему в качестве оценки способности сети создавать соответствующие визуальные представления без информации о сельскохозяйственной культуре. Результаты для базовой нейронной сети на основе полного набора обучающих данных представлены в Таблице 2 на ФИГ. 7Б.

[0059] Кроме того, набор данных был разделен на разные сельскохозяйственные культуры (пшеница, ячмень, кукуруза и рапс), и обучался по отдельности. В указанном эксперименте устанавливалась способность нейронной сети изучать каждую визуальную задачу по отдельности и, таким образом, без необходимости во входной информации о сельскохозяйственной культуре. Результаты для топологии магистрали на основе полного набора обучающих данных представлены в Таблице 3 на ФИГ. 7В.

[0060] Анализ результатов показывает, что применение моделей в отношении нескольких сельскохозяйственных культур с более высоким количеством изображений обеспечивает лучшие результаты, чем разделение набора обучающих данных в соответствии с разными сельскохозяйственными культурами. Это особенно заметно для сельскохозяйственных культур с меньшим количеством изображений и вариативностью. Он показывает, что в таких условиях обучения, выбранные визуальные признаки и модели усиливаются в результате применение набора данных с более высоким количеством изображений и с более высокой вариативностью, превосходя эффективность независимых моделей сельскохозяйственных культур.

[0061] ФИГУРЫ 3-5 показывают три альтернативных варианта осуществления CNN 120 с разными вариантами осуществления ветви 121 изображений, ветви 122 ID сельскохозяйственной культуры, и интеграции 123 ветвей.

[0062] ФИГ. 3 показывает детали первого варианта осуществления CNN 120, который также упоминается как решение относительно обходного пути. Ветвь изображений включает в себя указанную топологию 121-1 магистрали (сверточную нейронную сеть классификации), которая получает тестовое входное изображение 10 (размером 224×224×3) и постепенно уменьшает размерность представления изображения в пространственной области (до конечного размера 7×7×2048) с одновременным увеличением области признаков, для изучения представлений изображений в качестве наборов признаков высокого уровня.

[0063] За магистралью 121-1 следует слой представления изображения с операцией 121-2 подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией 121-3 переформатирования, которая сопоставляет размеры выходных данных подвыборки по среднему значению (1×1×2048) с размерами (1×K) ветви 122-1 идентификации сельскохозяйственной культуры. Таким образом, ID 20 сельскохозяйственной культуры при этом представляет информацию о сельскохозяйственной культуре в виде категориального вектора K-компонентов, где K представляет собой количество сельскохозяйственных культур в модели. Указанный вектор имеет значение 1 для компонента, соответствующего его классу сельскохозяйственной культуры, и значение 0 для других компонентов. Вектор (1×K) обходит всю ветвь изображений. Другими словами, ветвь 122-1 ID сельскохозяйственной культуры подается непосредственно в ветвь интеграции, начиная со слоя 123-1 конкатенации, агрегирующего идентификатор 20 сельскохозяйственной культуры, полученный посредством ветви 122-1 идентификации сельскохозяйственной культуры, в выходные данные слоя представления изображения посредством объединения описательных признаков изображений из слоя представления изображения с информацией о видах растений, которые присутствуют на соответствующем изображении. То есть, указанное агрегирование создает новый совместный слой с размером (1×(2048+K)), который объединяет описательные признаки изображений из слоя представления изображения с информацией о видах растений (сельскохозяйственной культуре), которое присутствует на входном изображении.

[0064] Последующий полносвязный слой (плотный слой 123-2) отвечает за отображение взаимосвязей между признаками высокого уровня изображения и соответствующими сельскохозяйственными культурами с прогнозы Р1 болезней, применяя сигмоидную функцию 123-3 активации. Плотный слой 123-2 уменьшает размер до (1×D).

[0065] Во время непрерывного процесса обучения, представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно. Интуитивно понятно, что изученные визуальные признаки, которые являются общими для всех сельскохозяйственных культур, приводят к более содержательному представлению набора данных, и отображение сельскохозяйственных культур позволяет отображать похожие признаки на разные болезни в зависимости от присутствующих видов растений.

[0066] ФИГ. 4 показывает детали второго варианта осуществления CNN 120. Ветвь изображений снова включает в себя топологию 221-1 магистрали (сверточная нейронная сеть классификации, подобная магистрали 121-1), которая получает тестовое входное изображение 10 (размеры 224×224×3) и постепенно уменьшает размерность представления изображения в пространственной области (до конечного размера 7×7×2048) с одновременным увеличением области признаков, для изучения представлений изображений в виде наборов признаков высокого уровня.

[0067] Подобно первому варианту осуществления, слой представления изображения следует за топологией магистрали с операцией 221-2 подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией переформатирования 221-3, которая сопоставляет размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры.

[0068] Во втором варианте осуществления, ветвь идентификации сельскохозяйственной культуры включает в себя плотный слой 222-1, непосредственно связанный с идентификатором 20 сельскохозяйственной культуры, причем количество нейронов плотного слоя соответствует количеству признаков на слое представления изображения. Сигмоидная функция 222-2 активации применяется для отображения полученных выходных данных в диапазоне [0,1].

[0069] За слоем представления изображения и плотным слоем следует слой 223-1 умножения, предназначенный для интегрирования выходных данных сигмоидной функции 222-2 активации со слоем представления изображения посредством поэлементного умножения. То есть, в указанном варианте осуществления, вектор 20 ID сельскохозяйственной культуры не конкатенирован в качестве дополнительного признака, как в варианте осуществления обходного пути, а скорее применяется для подавления активизации определенных визуальных признаков, в случае, когда они не имеют отношения к тому виду растения, который присутствует на тестовом входном изображении. Это гарантирует то, что вид растения (сельскохозяйственная культура), который присутствует на входном изображении, модулирует ответ изученных визуальных дескрипторов, уменьшая влияние несоответствующих видов растений. Другими словами, изученные визуальные дескрипторы, которые не имеют отношения (потому что связанные с ними визуальные симптомы не могут вызвать какую-либо болезнь на конкретной сельскохозяйственной культуре, которая идентифицирована идентификатором сельскохозяйственной культуры), подавляются.

[0070] За слоем умножения следует дополнительный плотный слой 223-2 с соответствующей сигмоидной функцией 223-3 активации, предназначенной для отображения взаимосвязей между признаками высокого уровня изображения и соответствующими сельскохозяйственными культурами с прогнозами Р2 болезней. Опять таки, представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

[0071] ФИГ. 5 показывает детали третьего варианта осуществления CNN 120. Опять таки, ветвь изображений включает в себя указанную топологию 321-1 магистрали (сверточная нейронная сеть классификации), которая получает тестовое входное изображение 10 (размером 224×224×3) и постепенно уменьшает размерность представления изображения в пространственной области (до конечного размера 7×7×2048) с одновременным увеличением области признаков, для изучения представлений изображений в виде наборов признаков высокого уровня.

[0072] Подобно первому и второму вариантам осуществления, слой представления изображения следует за топологией магистрали, с операцией 321-1 подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией 321-3 переформатирования, которая сопоставляет размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры.

[0073] Все еще, в ветви изображений, за слоем представления изображения далее следует первый плотный слой 321-4, предназначенный для сопоставления признаков высокого уровня изображения с прогнозами болезней с помощью применения первой сигмоидной функции 321-5 активации.

[0074] Ветвь идентификации сельскохозяйственной культуры подобна второму варианту осуществления. Второй плотный слой 322-1 в ветви идентификации сельскохозяйственной культуры непосредственно связан с идентификатором 20 сельскохозяйственной культуры, причем количество нейронов полносвязного плотного слоя соответствует количеству признаков на слое представления изображения. Вторая сигмоидная функция 322-2 активации применяется для отображения полученных выходных данных в диапазоне [0,1].

[0075] Третий вариант осуществления, снова, применяет слой 323-1 умножения для интеграции ветвей. Однако, в указанном варианте осуществления, слой умножения следует за первым и вторым плотными слоями 321-4, 322-1 с их соответствующими сигмоидными функциями активации. Указанное позволяет подавлять активизацию болезней, которые были спрогнозированы с помощью первого плотного слоя 321-4, но не присутствуют на видах растений, представленных идентификатором 20 сельскохозяйственной культуры посредством выполнения поэлементного умножения активизаций. То есть, прогнозы, которые были определены с помощью первого плотного слоя 321, которые не соответствуют информации идентификатора сельскохозяйственной культуры, подавляются посредством умножение на компоненты "0" вектора 20, так, что остаются только прогнозы Р3 для таких болезней, которые могут по существу возникать на сельскохозяйственной культуре, представленной идентификатором 20 сельскохозяйственной культуры. Другими словами, третий вариант осуществления, представленный на ФИГ. 5, имеет сходство с мультипликативным подавлением активизаций во втором варианте осуществления, представленным на ФИГ. 4. Однако, в указанном случае, подавление осуществляется непосредственно на основе окончательных прогнозов нейронной сети (выходящих из первого плотного слоя 321-4 и его сигмоидной функции 32-15 активации), посредством подавления активизации болезней, которые не могут присутствовать на представленных видах растений.

[0076] Опять таки, представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

[0077] ФИГУРЫ 6А, 6Б и 6В показывают примеры входных изображений, которые являются частью набора обучающих данных. Верхние части 602, 612, 622 изображений на фигурах (выше пунктирной жирной линии) соответствуют фактическому входному изображению, тогда как нижние части 601, 611, 621 изображений показывают увеличенную область, которая указана соответствующим квадратом (например, 603, 613, 623) на фактических входных изображениях.

[0078] ФИГ. 6А показывает примеры болезней на изображениях, содержащихся в наборе данных для пшеницы:

a) Puccinia recondita, б) Puccinia striiformis, в) Drechslera tritici-repentis, г) Septoria tritici, и д) Septoria nodorum. Таким образом, изображения на ФИГ. 6А сфокусированы на листьях в качестве частей растений с симптомами болезней.

[0079] ФИГ. 6Б показывает примеры болезней на изображениях, содержащихся в наборе данных для ячменя:

a) Pyrenophorateres, б) Ramularia collo-cygni, в) Rhynchosporium secalis, г) Puccinia hordei, рапс, д) Phoma lingam, и для кукурузы: е) Helminthosporium turcicum. Таким образом, изображения на ФИГ. 6Б сфокусированы на листьях в качестве частей растений с симптомами болезней.

[0080] ФИГ. 6 В показывает дополнительные примеры болезней на изображениях, содержащихся в наборе данных для:

- ячменя: a) Phoma lingam (стебель),

- пшеницы: б) Gibberella zeae (метелка), в) Oculimacula yallundae (стебель), и

- риса: г) Pyricularia oryzae, д) гниль узла метелки (Dirtypanicle), е) Thanatephorus cucumeris.

Таким образом, изображения на ФИГ. 6 В также включают другие части растений с симптомами болезней, такие как стебель или метелка.

[0081] База данных для обучения была создана на основе набора данных, которые определены в Таблице 1 на ФИГ. 7А. Для предотвращения систематической погрешности, набор данных был разделен на 80% изображений, предназначенных для обучения, при этом другие 10% изображений были предназначены для проверки правильности, и остальные 10% изображений были использованы в качестве набора тестовых данных. В столбце "Сельскохозяйственная культура" показан тип сельскохозяйственной культуры.

Код ЕРРО (ранее известный как код Байера) в столбце "ЕРРО-КОД", представляет собой закодированный идентификатор, который применяется Европейской и Средиземноморской организацией по защите растений (ЕРРО -European and Mediterranean Plant Protection Organization) в системе, предназначенной для уникальной идентификации организмов а именно, растений, вредителей и патогенов которые имеют значение для сельского хозяйства и средств защиты растений. Код ЕРРО являются компонентом базы данных названий, как научных, так и народных. Коды ЕРРО в столбце ЕРРО-Код относятся к соответствующей сельскохозяйственной культуре. Коды ЕРРО в столбце "ЕРРО-код болезни" относятся к болезни в столбце "Название болезни". Столбец "Всего" показывает количество входных изображений для соответствующих характеристик в наборе данных.

[0082] Дата получения изображения была установлена в качестве критерия разделения, предназначенного для предотвращения отнесения изображений, полученных в один и тот же день, к разным наборам. Площадь под кривой (AuC) рабочих характеристик приемника (ROC) была выбрана в качестве наиболее подходящего показателя производительности алгоритма, с тем, чтобы учитывать несбалансированность классов, которая присутствует в наборе данных (в таких случаях, применение точности не рекомендовано). Вычисленные значения чувствительности, специфичности и сбалансированной точности (ВАС), отрицательного прогностического значения (NPV) и положительного прогностического значения (PPV) для различных болезней также обеспечиваются для порогового значения, которое максимизирует точность валидационного множества, в соответствии с той же методологией, которую применяли у Johannes и др. (2017) и у Picon и др. (2018). Во время процесса обучения, применяли тот же конвейер обучения и схему приращения данных, которые предложены у Picon и др. (2018), где процесс описан подробно:

[0083] Во время первой стадии, магистраль архитектуры нейронной сети может предварительно обучаться на основе набора данных Imagenet массивной базы данных аннотированных изображений Russakovsky и др. (2015. ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision (IJCV) 115, 211-252. doi:10.1007/sll263-015-0816-y.). Эта предварительно обученная нейронная сеть служит в качестве магистральной сети для тестирования различных топологий нейронной сети.

[0084] Во время второй стадии, в каждую из альтернативных топологий CNN (см. ФИГ. 3-5) подают предварительно обученные веса для всех общих слоев, и указанные веса сохраняются замороженными. Последний плотный слой и слои, соответствующие интеграции информации об идентификации сельскохозяйственной культуры, инициализируются случайным образом, и они единственные, которым можно изменять свои веса во время обучение на этой стадии.

[0085] Заключительная стадия обучения завершает тонкую настройку, начиная с весов, полученных на предыдущей стадии, и размораживая все слои, получая в результате свободное, неограниченное обучение.

[0086] Сеть обучалась с помощью применения оптимизации стохастического градиентного спуска (SGD - Stochastic Gradient Descent) с начальной скоростью обучения, составляющей 10^-4, уменьшением скорости обучения, составляющей 10^-6, и импульсом, составляющим 0,9. На второй стадии обучения, сеть вначале обучалась в течении 100 эпох, в то время как остальные оставались замороженными, и после этого обучалась вся сеть.

[0087] Таблица 2 на ФИГ. 7Б показывает результаты проверки точности классификации, которую можно достичь с помощью применения только магистральной (базовой) топологии (реализованной архитектурой ResNet50, которая обучалась вместе с различными сельскохозяйственными культурами.

[0088] Таблица 3 на ФИГ. 7В показывает результаты проверки точности классификации, которую можно достичь с помощью применения только магистральной (базовой) топологии (реализованной архитектурой ResNet50, которая обучалась по отдельности для каждой сельскохозяйственной культуры (как это применяется в предыдущем уровне техники).

[0089] Первый столбец в Таблицах 2 и 3 показывает коды ЕРРО разных болезней растений. Столбец AuC показывает площадь под кривой ROC. Таким образом, кривая ROC (кривая рабочих характеристик приемника) представляет собой кривую, показывающую эффективность модели классификации при всех пороговых значениях классификации. Для того чтобы вычислить точки на кривой ROC, для обеспечения указанной информации, применяется эффективный, основанный на сортировке алгоритм AUC. AUC определяет всю двумерную площадь под всей кривой ROC от (0,0) до (1,1). AUC обеспечивает совокупный показатель производительности по всем возможным пороговым значениям классификации. Один из способов интерпретации AUC является вероятность то, что модель ранжирует случайный положительный пример выше, чем случайный отрицательный пример.

[0090] Столбец ВАС показывает сбалансированную точность: чувствительность+специфичность/2: указанное является глобальным показателем для измерения производительности алгоритма CNN. Значение ВАС представляет собой значение, которое позволяет сравнивать производительности разных топологий CNN. Другие четыре столбца Sens, Spec, NPV и PPV относятся к чувствительности, специфичности, отрицательному прогностическому значению и положительному прогностическому значение (см. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2636062/).

[0091] Таблица 4 на ФИГ. 7Г показывает результаты проверки, которые достигнуты с помощью первого варианта осуществления (архитектура RESNET-МС-1) топологии CNN, которая описана на рассмотренной ФИГ. 3 (которая обучалась для всех сельскохозяйственных культур вместе). RESNET-MC-1 получает среднее значение ВАС, составляющее 0,96, в то время, как базовая модель в отношении нескольких сельскохозяйственных культур (среднее значение ВАС, представленное в Таблице 2) достигает только значения 0,94. Значение ВАС при использовании отдельных моделей (см. Таблицу 3) составляет всего лишь 0,85. Другими словами, расширенная топология CNN, которая раскрыта в этой заявке, обеспечивает альтернативное решение для выявления болезней растений, которое способно обеспечивать лучшую производительность с точной идентификацией болезней растений на основе симптомов, показанных на соответствующих изображениях сельскохозяйственных культур.

[0092] ФИГ. 8 представляет собой схематическое изображение, которое демонстрирует пример универсального компьютерного устройства 900 и универсального мобильного компьютерного устройства 950, которые могут применяться со способами, описанными в этой заявке. Вычислительное устройство 900 предназначено для представления различных форм цифровых компьютеры, такие как портативные компьютеры, настольные компьютеры, автоматизированные рабочие места, карманные персональные компьютеры, серверы, сверхкомпактные серверы, компьютеры с высокой общей производительностью, и другие соответствующие электронные вычислительные машины. Универсальное компьютерное устройство 900 может соответствовать компьютерной системе 100, показанной на ФИГ. 1. Вычислительное устройство 950 предназначено для представления разных форм мобильных устройств, таких как карманные персональные компьютеры, сотовые телефоны, смартфоны, и другие подобные вычислительные устройства. Например, вычислительное устройство 950 может применяться в качестве графического пользовательского интерфейса (англ.: GUI) клиентского уровня, предназначенного для получения тестовых входных изображений, и предоставлять их компьютерному устройству 900 с соответствующим идентификатором сельскохозяйственной культуры и, в свою очередь, получать от компьютерного устройства прогноз болезни. Таким образом, вычислительное устройство 950 также может включать в себя устройство 50 вывода, показанное на ФИГ. 1. Компоненты, показанные здесь, их связи и взаимосвязи, а также их функции, следует считать всего лишь примерными, и они не должны считаться такими, которые ограничивают варианты осуществления изобретений, описанных и/или заявленных в указанном документе.

[0093] Вычислительное устройство 900 включает в себя процессор 902, запоминающее устройство 904, накопительное устройство 906, высокоскоростной интерфейс 908, связанный с запоминающим устройством 904 и высокоскоростными портами 910 расширения, и низкоскоростной интерфейс 912, связанный с низкоскоростной шиной 914 и накопительным устройством 906. Каждый из компонентов 902, 904, 906, 908, 910, и 912, взаимосвязан с помощью разных шин, и может быть установлен на общей материнской плате или иным соответствующим образом. Процессор 902 может обрабатывать команды для их выполнения в вычислительном устройстве 900, включая команды, хранимые в запоминающем устройстве 904 или на накопительном устройстве 906, для отображения графической информации, предназначенной для графического пользовательского интерфейса на внешнем устройстве ввода/вывода, таком как монитор 916, который соединен с высокоскоростным интерфейсом 908. В других вариантах осуществления, можно применять несколько блоков обработки данных и/или несколько шин, если это необходимо, вместе с несколькими запоминающими устройствами и типами запоминающего устройства. Также, может быть подключено несколько вычислительных устройств 900, и при этом каждое устройство обеспечивает часть необходимых операций (например, в качестве группы серверов, группы сверхкомпактных серверов, или устройства обработки данных).

[0094] Запоминающее устройство 904 хранит информацию в вычислительном устройстве 900. В одном варианте осуществления, запоминающее устройство 904 представляет собой блок энергозависимого запоминающего устройства или блоки энергозависимых запоминающих устройств. В другом варианте осуществления, запоминающее устройство 904 представляет собой блок энергонезависимого запоминающего устройства или блоки энергонезависимых запоминающих устройств. Запоминающее устройство 904 также может представлять собой иную форму машиночитаемого носителя, например магнитный или оптический диск.

[0095] Накопительное устройство 906 способно обеспечивать память большой емкости для вычислительного устройства 900. В одном варианте осуществления, накопительное устройство 906 может представлять собой и включать в себя машиночитаемый носитель, такой как накопитель на гибком диске, накопитель на жестком диске, накопитель на оптическом диске, или накопитель на ленте, электрически перепрограммируемое постоянное запоминающее устройство или другое подобное полупроводниковое запоминающее устройство, или массив накопителей, включая накопители в сети хранения данных или другие конфигурации. Компьютерный программный продукт может быть материально реализован на носителе информации. Компьютерный программный продукт также может содержать команды, которые, при их выполнении, осуществляют один или несколько способов, которые описаны выше. При этом носитель информации представляет собой читаемый компьютером или машиночитаемый носитель, такой как запоминающее устройство 904, накопительное устройство 906, или память на процессоре 902.

[0096] Высокоскоростной контроллер 908 управляет интенсивной эксплуатацией полосы пропускания для вычислительного устройства 900, в то время, как низкоскоростной контроллер 912 управляет интенсивной эксплуатацией более узкой полосы пропускания. Такое распределение функций является всего лишь примерным. В одном варианте осуществления, высокоскоростной контроллер 908 соединен с запоминающим устройством 904, монитором 916 (например, с помощью графического процессора или ускорителя), и с высокоскоростными портами 910 расширения, которые могут принимать различные платы расширения (не показано). В варианте осуществления, низкоскоростной контроллер 912 соединен с накопительным устройством 906 и низкоскоростным портом 914 расширения. Низкоскоростной порт расширения, который может включать в себя разные коммуникационные порты (например, USB (универсальную последовательную шину), технологию беспроводной связи Bluetooth, сеть Ethernet, беспроводную сеть Ethernet), может быть соединен с одним или несколькими устройствами ввода/вывода, такими как клавиатура, координатно-указательное устройство, сканер, или сетевое устройство, такое, как коммутатор или маршутизатор, например, через сетевой адаптер.

[0097] Вычислительное устройство 900 может быть реализовано в ряде различных форм, как показано на фигуре. Например, оно может быть реализовано в виде стандартного сервера 920, или многократно в виде группы таких серверов. Оно также может быть реализовано как часть системы 924 серверов, предназначенных для установки в стойку. Кроме того, оно может быть реализовано в виде персонального компьютера, такого, как портативный компьютер 922. В качестве альтернативы, компоненты вычислительного устройства 900 могут быть объединены с другими компонентами в виде мобильного устройства (не показано), такого, как устройство 950. Каждое из таких устройств может включать в себя одно или несколько вычислительных устройств 900, 950, и вся система может состоять из нескольких вычислительных устройств 900, 950, которые связываются друг с другом.

[0098] Вычислительное устройство 950, в числе других компонентов, включает в себя процессор 952, запоминающее устройство 964, устройство ввода/вывода, такое, как монитор 954, интерфейс 966 передачи данных, и приемопередатчик 968. Устройство 950 также может обеспечиваться накопительным устройством, таким, как микропривод или другое устройство для обеспечения дополнительного физического хранилища данных. Каждый из компонентов 950, 952, 964, 954, 966, и 968, взаимосвязаны с помощью применения разных шин, и при этом несколько компонентов может быть установлено на общей материнской плате или быть связаны иным образом, если это необходимо.

[0099] Процессор 952 может выполнять команды в вычислительном устройстве 950, включая команды, хранящиеся в запоминающем устройстве 964. Процессор может быть реализован в виде набора микросхем, которые включают в себя как отдельные, так и несколько аналоговых и цифровых блоков обработки данных. Процессор может, например, обеспечивать координацию других компонентов устройства 950, например, управление пользовательскими интерфейсами, приложениями, запускаемыми устройством 950, и беспроводной передачей данных устройством 950.

[0100] Процессор 952 может связываться с пользователем с помощью интерфейса 958 управления и интерфейса 956 отображения, который соединен с монитором 954. Монитор 954 может, например, представлять собой монитор в виде TFT LCD (жидкокристаллический дисплей на тонкопленочных транзисторах) или OLED (органический светоизлучающий диод), или другой соответствующей технологии отображения. Интерфейс 956 отображения может включать в себя соответствующую микросхему для управления монитором 954 для представления графической и другой информации пользователю. Интерфейс 958 управления может получать команды от пользователя и преобразовывать их для предоставления процессору 952. Кроме того, может быть обеспечен внешний интерфейс 962 для связи с процессором 952 для того, чтобы обеспечить ближнюю связь устройства 950 с другими устройствами. Внешний интерфейс 962, например, может обеспечивать проводную связь в некоторых вариантах осуществления, или может обеспечивать беспроводную связь в других вариантах осуществления, и при этом также может применяться несколько интерфейсов.

[0101] Запоминающее устройство 964 хранит информацию в вычислительном устройстве 950. Запоминающее устройство 964 может быть реализовано в виде одного или нескольких машиночитаемых носителей или носителей данных, блока или блоков энергозависимых запоминающих устройств, или блока или блоков энергонезависимых запоминающих устройств. Также может обеспечиваться запоминающее устройство 984 расширения, и связываться с устройством 950 с помощью интерфейса 982 расширения, который, например, может включать в себя интерфейсную плату SIMM (модуль с однорядным расположением интегральных микросхем памяти). Такое запоминающее устройство 984 расширения может обеспечивать дополнительный объем памяти для устройства 950, или также может хранить приложения или другую информация для устройства 950. В частности, запоминающее устройство 984 расширения может включать команды для выполнения или дополнения процессов, описанных выше, и также может включать защищенную информацию. Таким образом, например, запоминающее устройство 984 расширения может действовать в качестве модуля защиты для устройства 950, и может быть запрограммировано с помощью команд, которые позволяют защищенное применение устройства 950. Кроме того, защищенные приложения могут обеспечиваться посредством плат SIMM, вместе с дополнительной информацией, например, размещение идентификационной информации на плате SIMM без возможности взлома.

[0102] Запоминающее устройство может включать в себя, например, электрически перепрограммируемое постоянное запоминающее устройство и/или энергонезависимое запоминающее устройство с произвольной выборкой (англ.: NVRAM - nonvolatile random-access memory), как обсуждается ниже. В одном варианте осуществления, компьютерный программный продукт материально реализован на носителе информации. Компьютерный программный продукт содержит команды, которые, при их выполнении, осуществляют один или несколько способов, которые описаны выше. Носитель информации представляет собой читаемый компьютером или машиночитаемый носитель, такой, как запоминающее устройство 964, запоминающее устройство 984 расширения, или память на процессоре 952, который может приниматься, например, приемопередатчиком 968 или внешним интерфейсом 962.

[0103] Устройство 950 может осуществлять беспроводную связь с помощью интерфейса 966 передачи данных, которое может включать в себя микросхемы для обработки цифрового сигнала, при необходимости. Интерфейс 966 передачи данных может обеспечивать передачу данных в различных режимах или протоколах, таких как голосовые вызовы GSM (глобальной системы мобильной связи), SMS (текстовые сообщения), EMS (электронная система передачи сообщений), или обмен сообщениями MMS (служба обмена мультимедийными сообщениями), CDMA (множественный доступ с кодовым разделением), TDMA (многостанционный доступ с временным разделением каналов), PDC (мобильная телефония второго поколения с временным разделением канала), WCDMA (широкополосной множественный доступ с кодовым разделением), CDMA2000 (мобильная телефония третьего поколения с множественным доступом с кодовым разделением), или GPRS (система пакетной радиосвязи общего пользования), и другие. Такая передача данных может происходить, например, с помощью радиочастотного приемопередатчика 968. Кроме того, может осуществляться связь ближнего действия, например, с применением технологии беспроводной связи Bluetooth, WiFi, или другого такого приемопередатчика (не показано). Кроме того, модуль 980 приемника GPS (глобальной системы позиционирования) может предоставлять через беспроводную сеть дополнительные данные, связанные с навигацией и местоположением, на устройству 950, которые могут применяться, если это необходимо, приложениями, запускаемыми на устройстве 950.

[0104] Устройство 950 также может осуществлять связь акустически посредством применения аудиокодека 960, который может получать речевую информацию от пользователя и преобразовывать ее в пригодную для использования цифровую информацию. Также, аудиокодек 960 может создавать слышимый для пользователя звук, например, через динамик, например, в телефонной трубке устройства 950. Такой звук может включать в себя звук голосовых телефонных звонков, он может включать в себя записанный звук (например, голосовые сообщения, музыкальные файлы, и т.д.), и также может включать звук, создаваемый приложениями, работающими на устройстве 950.

[0105] Вычислительное устройство 950 может быть реализовано в ряде различных форм, как показано на фигуре. Например, оно может быть реализовано в виде сотового телефона 980. Оно также может быть реализовано как часть смартфона 982, карманного персонального компьютера, или другого подобного мобильного устройства.

[0106] Разные варианты осуществления систем и методов, описанных в этой заявке, могут быть реализованы в цифровых электронных микросхемах, интегральных микросхемах, специально разработанных ASIC (заказных специализированных интегральных схем), компьютерном аппаратном обеспечении, программно-аппаратном обеспечении, программном обеспечении, и/или в их комбинациях. Указанные различные варианты осуществления могут включать в себя вариант осуществления в одной или нескольких компьютерных программ, которые могут выполняться и/или могут интерпретироваться в программируемой системе, которая включает в себя по меньшей мере один программируемый процессор, который может быть процессором специального или общего назначения, который соединен с возможностью получения данных и команд от системы запоминающих устройств и передачи данных и команд на систему запоминающих устройств, по меньшей мере одно устройство ввода, и по меньшей мере одно устройство вывода.

[0107] Указанные компьютерные программы (также известные как программы, программное обеспечение, программные приложения или программный код) включают машинные команды для программируемого процессора, и могут быть реализованы на высокоуровневом процедурном и/или объектно-ориентированном языке программирования, и/или на языке ассемблера/машинном языке. Как его используют в этой заявке, термины "машиночитаемый носитель" и "читаемый компьютером носитель" относятся к любому компьютерному программному продукту, оборудованию и/или устройству (например, магнитные диски, оптические диски, запоминающее устройство, программируемые логические устройства (PLD)), применяемым для предоставления машинных команд и/или данных программируемому процессору, включая машиночитаемый носитель, который получает машинные команды в качестве машиночитаемого сигнала. Термин "машиночитаемый сигнал" относится к любому сигналу, применяемому для передачи машинных команд и/или данных программируемому процессору.

[0108] Для обеспечения взаимодействия с пользователем, системы и способы и приемы, описанные в этой заявке, могут быть реализованы на компьютере, который имеет устройство отображения (например, ЭЛТ (электронно-лучевая трубка) или ЖК-монитор (жидкокристаллический дисплей)), для отображения информации пользователю, и клавиатуру и координатно-указательное устройство (например, координатный манипулятор типа «мышь» или шаровой манипулятор), посредством которого пользователь может вводить данные в компьютер. Для обеспечения взаимодействия с пользователем также могут применяться другие типы устройств; например, обратная связь, предоставляемая пользователю, может быть любой формой сенсорной обратной связи (например, визуальная обратная связь, слуховая обратная связь, или тактильная обратная связь); и ввод данных от пользователя может обеспечиваться в любой форме, включая акустический, речевой, или тактильный ввод данных.

[0109] Системы и способы и приемы, описанные в этой заявке, могут быть реализованы в вычислительном устройстве, которое включает в себя внутренний компонент (например, в виде сервера данных), или которое включает в себя компонент промежуточного программного обеспечения (например, сервер приложений), или которое включает в себя внешний интерфейсный компонент (например, клиентский компьютер, который включает в себя графический пользовательский интерфейс или веб-браузер, с помощью которого пользователь может взаимодействовать с вариантами осуществления систем и способов, описанных в этой заявке), или любую комбинацию таких внутренних компонентов, компонентов промежуточного программного обеспечения, или внешних интерфейсных компонентов. Компоненты системы могут быть связаны между собой с помощью любой формы или средства цифровой передачи данных (например, коммуникационной сетью). Примеры коммуникационных сетей включают локальную сеть ("LAN"), глобальную сеть ("WAN"), и интернет.

[0110] Вычислительное устройство может включать в себя клиенты и серверы. Как правило, клиент и сервер удалены друг от друга и обычно взаимодействуют через коммуникационную сеть. Взаимосвязь клиента и сервера возникает благодаря компьютерным программам, которые запускаются на соответствующих компьютерах, и которые имеют взаимосвязь клиент-сервер друг с другом.

[0111] Был описан ряд вариантов осуществления. Тем не менее, следует понимать, что при этом могут быть выполнены различные модификации, не выходя за пределы сущности и объема изобретения.

[0112] Кроме того, логические потоки, представленные на фигурах, не требуют продемонстрированного конкретного порядка или порядка следования, для достижения желаемых результатов. Кроме того, могут быть предусмотрены другие стадии или определенные стадии могут быть исключены из описанных потоков, и другие компоненты могут быть добавлены в описанные системы или удалены из них. Соответственно, другие варианты осуществления находятся в пределах объема следующей далее формулы изобретения.

Изобретение в целом относится к электронной обработке данных, в частности к способам обработки изображений и системам для поддержки выявления болезней растений. Система хранит сверточную нейронную сеть (120), обученную с помощью набора данных для нескольких сельскохозяйственных культур. Сверточная нейронная сеть (120) имеет расширенную топологию, включающую в себя ветвь (121) изображений на основе сверточной нейронной сети классификации, предназначенной для классификации входных изображений в соответствии с определенными признаками болезней растений, ветвь (122) идентификации сельскохозяйственной культуры для добавления информации о видах растений и интегратор ветвей для интегрирования информации о видах растений с каждым входным изображением. Информация (20) о видах растений определяет сельскохозяйственную культуру на соответствующем входном изображении (10). Система получает тестовые входные данные, содержащие изображение (10) конкретной сельскохозяйственной культуры (1), показывающее один или несколько конкретных симптомов болезни растения, и дополнительно получает соответствующий идентификатор (20) сельскохозяйственной культуры, связанный с тестовыми входными данными, через интерфейс (110). Модуль (130) классификатора системы применяет обученную сверточную сеть (120) к полученным тестовым входным данным и предоставляет результат (CR1) классификации в соответствии с выходным вектором сверточной нейронной сети (120). Результат (CR1) классификации указывает на одну или несколько болезней растений, связанных с одним или несколькими конкретными симптомами болезней растений. Технический результат – повышение точности и информативности получаемых данных. 3 н. и 12 з.п. ф-лы, 8 ил.

1. Компьютеризованный способ (1000) выявления болезней растений посредством применения сверточной нейронной сети (120), обученной с помощью набора данных для нескольких сельскохозяйственных культур, причем набор обучающих данных включает в себя обучающие входные изображения, показывающие разные сельскохозяйственные культуры, и каждое из обучающих входных изображений показывает часть конкретной сельскохозяйственной культуры с одним или несколькими симптомами болезни, связанными с одной или несколькими из рассматриваемых болезней, или показывает часть конкретной сельскохозяйственной культуры с абиотическими проявлениями, или показывает здоровую часть конкретной сельскохозяйственной культуры, причем сверточная нейронная сеть (120) с расширенной топологией включает в себя ветвь (121) изображений на основе сверточной нейронной сети классификации, предназначенной для классификации тестовых входных изображений в соответствии с определенными признаками болезней растений, ветвь (122) идентификации сельскохозяйственной культуры для добавления информации о видах растений, и интегратор ветвей для интегрирования информации о видах растений с каждым тестовым входным изображением, информацию (20) о видах растений, определяющую сельскохозяйственную культуру на соответствующем тестовом входном изображении (10), причем способ включает в себя:

получение (1100) тестовых входных данных, содержащих изображение конкретной сельскохозяйственной культуры, показывающее один или несколько конкретных симптомов болезни растения, и соответствующий идентификатор сельскохозяйственной культуры;

применение (1200) обученной сверточной нейронной сети (120) к полученным тестовым входным данным; и

предоставление (1300) результата классификации в соответствии с выходным вектором сверточной нейронной сети, причем результат классификации указывает на одну или несколько болезней растений, связанных с одним или несколькими конкретными симптомами болезни растений.

2. Способ по п. 1, причем примерно равные доли в ряде входных изображений, применяемых для обучения сверточной нейронной сети, относятся к начальным стадиям инфекции, ранним стадиям инфекции, средним стадиям инфекции, и поздним стадиям инфекции.

3. Способ по одному из предыдущих пунктов, причем новое входное изображение, содержащее часть, показывающую основную часть растения с основным листом или основным стеблем или основной метелкой, обрезают до области, окружающей основную часть, при этом основная часть сегментируется нейронной сетью сегментации с попиксельной категориальной функцией кросс-энтропийных потерь, дополняемой членом полной вариации.

4. Способ по одному из предыдущих пунктов, причем топология сверточной нейронной сети включает в себя:

топологию магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, способной изучать представления изображения в качестве наборов признаков высокого уровня;

после топологии магистрали, слой представления изображения с операцией подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией переформатирования, сопоставляющей размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры;

после слоя представления изображения, слой конкатенации, агрегирующий идентификатор сельскохозяйственной культуры, полученный посредством ветви идентификации сельскохозяйственной культуры, в выходные данные слоя представления изображения, посредством объединения описательных признаков изображений из слоя представления изображения с информацией о видах растений, которые присутствуют на соответствующем изображении;

после слоя конкатенации, плотный слой, предназначенный для отображения взаимосвязей между признаками высокого уровня изображения и соответствующими сельскохозяйственными культурами с прогнозами болезней с помощью применения сигмоидной функции активации;

причем представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

5. Способ по одному из пп. 1-3, причем топология сверточной нейронной сети включает в себя:

топологию магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, способной изучать представления изображения в качестве наборов признаков высокого уровня;

после топологии магистрали, слой представления изображения с операцией подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией переформатирования, сопоставляющей размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры;

ветвь идентификации сельскохозяйственной культуры, которая включает в себя плотный слой, непосредственно связанный с входными данными идентификатора сельскохозяйственной культуры, причем количество нейронов плотного слоя соответствует количеству признаков на слое представления изображения, и применение сигмоидной функции активации для отображения полученных выходных данных в диапазоне [0,1];

после слоя представления изображения и плотного слоя, слой умножения, предназначенный для интегрирования выходных данных сигмоидной функции активации со слоем представления изображения посредством поэлементного умножения;

после слоя умножения, дополнительный плотный слой, предназначенный для отображения взаимосвязей между признаками высокого уровня изображения и соответствующими сельскохозяйственными культурами с прогнозами болезней;

причем представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

6. Способ по одному из пп. 1-3, причем топология сверточной нейронной сети включает в себя:

топологию магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, способной изучать представления изображения в качестве наборов признаков высокого уровня;

после топологии магистрали, слой представления изображения с операцией подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией переформатирования, сопоставляющей размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры;

после слоя представления изображения, первый плотный слой, предназначенный для сопоставления признаков высокого уровня изображения с прогнозами болезней с помощью применения первой сигмоидной функции активации;

второй плотный слой в ветви идентификации сельскохозяйственной культуры, непосредственно связанный с идентификатором

сельскохозяйственной культуры, причем количество нейронов полносвязного плотного слоя соответствует количеству признаков на слое представления изображения, и применение второй сигмоидной функции активации для отображения полученных выходных данных в диапазоне [0,1];

после первого и второго плотных слоев, слой умножения, предназначенный для подавления активизации болезней, спрогнозированных первым плотным слоем, но не присутствующих на видах растений, представленных идентификатором сельскохозяйственной культуры, посредством выполнения поэлементного умножения активизаций;

причем представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

7. Способ по одному из пп. 4-6, причем ветвь идентификации сельскохозяйственной культуры дополнительно выполнена с возможностью добавления дополнительных внешних данных (21) вместе с идентификатором (20) сельскохозяйственной культуры, причем дополнительные внешние данные определяют конкретные условия окружающей среды, связанные с соответствующим конкретным входным изображением сельскохозяйственной культуры.

8. Способ по одному из пп. 4-7, причем топология магистрали предварительно обучена для идентификации болезней сельскохозяйственных культур с помощью набора данных, подходящего для апостериорной тонкой настройки.

9. Машиночитаемый носитель данных с хранящейся в нем программой, содержащей команды, которые при загрузке в запоминающее устройство вычислительного устройства и выполнении по меньшей мере одним процессором вычислительного устройства, выполняют стадии способа компьютеризованного способа по одному из предыдущих пунктов.

10. Компьютерная система (100) для выявления болезней растений, включающая в себя:

компонент хранения данных, хранящий сверточную нейронную сеть (120), обученную с помощью набора данных для нескольких сельскохозяйственных культур, причем набор обучающих данных включает в себя обучающие входные изображения, показывающие разные сельскохозяйственные культуры, и каждое из обучающих входных изображений показывает часть (11) конкретной сельскохозяйственной культуры с одним или несколькими симптомами болезни, связанными с одной или несколькими из рассматриваемых болезней, или показывает часть конкретной сельскохозяйственной культуры с абиотическими проявлениями, или показывает здоровую часть конкретной сельскохозяйственной культуры, причем сверточная нейронная сеть (120) с расширенной топологией включает в себя ветвь (121) изображений на основе сверточной нейронной сети классификации, предназначенной для классификации тестовых входных изображений в соответствии с определенными признаками болезней растений, ветвь (122) идентификации сельскохозяйственной культуры для добавления информации о видах растений, и интегратор ветвей для интегрирования информации о видах растений с каждым тестовым входным изображением, информацию (20) о видах растений, определяющую сельскохозяйственную культуру на соответствующем тестовом входном изображении (10);

интерфейс (110), выполненный с возможностью получения тестовых входных данных, содержащих изображение (10) конкретной сельскохозяйственной культуры (1), показывающее один или несколько конкретных симптомов болезни растения, и получения соответствующего идентификатора (20) сельскохозяйственной культуры, связанного с тестовыми входными данными; и

модуль (130) классификатора, выполненный с возможностью применения обученной сверточной нейронной сети (120) к полученным тестовым входным данным, и предоставления результата (CR1) классификации в соответствии с выходным вектором сверточной нейронной сети (120), причем результат (CR1) классификации указывает на одну или несколько болезней растений, связанных с одним или несколькими конкретными симптомами болезни растений.

11. Система по п. 10, которая дополнительно включает в себя модуль обрезки изображений, выполненный с возможностью обрезания нового входного изображения, включающего основной лист сельскохозяйственной культуры, до области, окружающей основной лист, причем основной лист сегментируется нейронной сетью сегментации с попиксельной категориальной функцией кросс-энтропийных потерь, дополняемой членом полной вариации.

12. Система по п. 10 или 11, причем топология сверточной нейронной сети включает в себя:

топологию (121-1) магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, предназначенной для изучения представлений изображений в качестве наборов признаков высокого уровня;

после топологии (121-1) магистрали, слой представления изображения с операцией (121-2) подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией (121-3) переформатирования, сопоставляющей размеры выходных данных подвыборки по среднему значению с размерами ветви (122-1) идентификации сельскохозяйственной культуры;

после слоя представления изображения, слой (123-1) конкатенации, агрегирующий идентификатор (20) сельскохозяйственной культуры, полученный посредством ветви (122-1) идентификации сельскохозяйственной культуры, в выходные данные слоя представления изображения, посредством объединения описательных признаков изображений из слоя представления изображения с информацией о видах растений, которые присутствуют на соответствующем изображении;

после слоя конкатенации, плотный слой (123-2), предназначенный для отображения взаимосвязей между признаками высокого уровня изображения и соответствующими сельскохозяйственными культурами с прогнозами болезней с помощью применения сигмоидной функции (123-3) активации;

причем представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

13. Система по п. 10 или 11, причем топология сверточной нейронной сети включает в себя:

топологию (221-1) магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, предназначенной для изучения представлений изображений в качестве наборов признаков высокого уровня;

после топологии магистрали, слой представления изображения с операцией (221-2) подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией переформатирования (221-3), сопоставляющей размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры;

ветвь идентификации сельскохозяйственной культуры, включающую в себя плотный слой (222-1), непосредственно связанный с идентификатором (20) сельскохозяйственной культуры, причем количество нейронов плотного слоя соответствует количеству признаков на слое представления изображения, и применение сигмоидной функции (222-2) активации для отображения полученных выходных данных в диапазоне [0,1];

после слоя представления изображения и плотного слоя, слой (223-1) умножения, предназначенный для интегрирования выходных данных сигмоидной функции (222-2) активации со слоем представления изображения посредством поэлементного умножения;

после слоя умножения, дополнительный плотный слой (223-2), предназначенный для отображения взаимосвязей между признаками высокого уровня изображения и соответствующими сельскохозяйственными культурами с прогнозами болезней;

причем представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

14. Система по п. 10 или 11, причем топология сверточной нейронной сети включает в себя:

топологию (321-1) магистрали, реализованную с помощью топологии сверточной нейронной сети классификации, выполненной с возможностью постепенного уменьшения размерности представления изображения в пространственной области с одновременным увеличением области признаков, предназначенной для изучения представлений изображений в качестве наборов признаков высокого уровня;

после топологии магистрали, слой представления изображения с операцией (321-1) подвыборки по среднему значению, интегрирующей признаки высокого уровня, и с операцией (321-3) переформатирования, сопоставляющей размеры выходных данных подвыборки по среднему значению с размерами ветви идентификации сельскохозяйственной культуры;

после слоя представления изображения, первый плотный слой (321-4), предназначенный для сопоставления признаков высокого уровня изображения с прогнозами болезней с помощью применения первой сигмоидной функции (321-5) активации;

второй плотный слой (322-1) в ветви идентификации сельскохозяйственной культуры, непосредственно связанный с идентификатором (20) сельскохозяйственной культуры, причем количество нейронов полносвязного плотного слоя соответствует количеству признаков на слое представления изображения, и применение второй сигмоидной функции (322-2) активации для отображения полученных выходных данных в диапазоне [0,1];

после первого и второго плотных слоев (321-4, 322-1) с их сигмоидными функциями активации, слой умножения (323-1), предназначенный для подавления активизации болезней, спрогнозированных первым плотным слоем (321-4), но не присутствующих на видах растений, представленных идентификатором (20) сельскохозяйственной культуры, посредством выполнения поэлементного умножения активизаций;

причем представление визуальных признаков на слое представления изображения и последующее отображение болезней сельскохозяйственных культур изучаются совместно.

15. Система по одному из пп. 10-14, причем топология магистрали основана на топологии RESNET.