Уведомление об авторском праве
Часть описания данного патентного документа содержит материал, на который распространяется защита авторских прав. Владелец авторских прав не возражает против факсимильного воспроизведения кем-либо патентного документа или описания патента, как это фигурирует в патентном фонде или записях патентного ведомства по патентам и торговым маркам, но с другой стороны сохраняет за собой все авторские права или права, какими бы они ни были. © 2015-2019 Корпорация по защите климата.
Область применения
Настоящее изобретение относится к техническим областям обнаружения заболеваний растений и машинного обучения. Настоящее изобретение также относится к технической области совершенствования конфигурации и тренировки моделей машинного обучения для распознавания болезней растений.
Уровень техники
Методы, описанные в этом разделе, представляют собой методы, которые можно было бы применить, но необязательно методы, которые были ранее разработаны или применены. Поэтому, если не указано иное, не следует исходить из того, что любой из методов, описанных в этом разделе, квалифицируется как уровень техники лишь в силу его включения в данный раздел.
Обнаружение болезней растений имеет важное значение в сельском хозяйстве. Сегодня автоматизированный подход часто предполагает классификацию фотснимков растений, которая может быть реализована путем применения сверточной нейронной сети (CNN), имеющей множество сверточных слоев. Некоторые CNN работают совместно посредством двухэтапного подхода, при котором первая CNN обычно предлагает интересующие области в пределах данных изображений, а вторая CNN затем классифицирует каждую предложенную область. Некоторые CNN требуют, чтобы все изображения были фиксированного размера. Существуют CNN, которые могут делать снимки разных размеров, а также предлагать и классифицировать интересующие области на одном фотоснимке с высоким качеством. Учитывая различные симптомы болезней растений, было бы полезно специально сконфигурировать и обучить такую CNN для классификации фотснимков растений и выявить инфекцию болезней растений для содействия здоровью и росту растений.
Краткое описание изобретения
Прилагаемая формула изобретения может служить кратким описанием изобретения.
Краткое описание чертежей
В графических материалах показано следующее.
На фиг.1 показан пример автоматизированной системы, рассчитанной на выполнение описанных здесь функций, показанной в окружении других устройств, с которыми система может взаимодействовать.
На фиг.2 показаны два примера логической организации наборов инструкций в оперативной памяти при загрузке для выполнения мобильного приложения, взятого в качестве примера.
На фиг.3 показан программируемый процесс, посредством которого автоматизированная система агроинтеллекта создает одну или несколько предварительно конфигурированных агрономических моделей, используя агрономические данные, предоставляемые одним или несколькими источниками данных.
На фиг.4 представлена блок-схема, иллюстрирующая автоматизированную систему, на которой может быть реализован вариант осуществления изобретения.
На фиг.5 приведен пример отображения последовательного графика работ для ввода данных.
На фиг.6 представлен пример варианта электронной таблицы для ввода данных.
На фиг.7А представлены фотоснимка кукурузных листьев, каждая из которых имеет симптомы одного заболевания.
На фиг.7В приведен пример фотоснимка кукурузного листа с симптомами нескольких заболеваний.
На фиг.8 показан примерный процесс применения немаксимального подавления для уточнения первоначального классификационного результата до конечного классификационного результата.
На фиг.9 показан пример метода, выполненного сервером, который запрограммирован для конфигурирования и применения сверточной нейронной сети для обнаружения болезней растений.
Подробное описание
Далее в описании, с целью объяснения, изложено множество конкретных деталей, для того чтобы обеспечить глубокое понимание настоящего изобретения. Однако должно быть очевидно, что варианты осуществления могут быть выполнены и без этих конкретных деталей. В других случаях хорошо известные структуры и устройства показаны в ввиде блок-схемы, чтобы избежать излишнего затушевывания настоящего изобретения. Варианты осуществления раскрываются в разделах в соответствии со следующим планом.
1. Общий обзор
2. Пример автоматизированной системы агроинтеллекта
2.1. Обзор структуры
2.2. Обзор программного приложения
2.3. Прием данных в автоматизированную систему
2.4. Обзор процесса - обучение агрономической модели
2.5. Пример внедрения - аппаратное обеспечение
3. Описания функций
3.1. Выявление заболевания растений
3.2. Конфигурация цифровой модели
3.3. Последовательность обучения и построение цифровой модели
3.4. Исполнение цифровой модели
3.5. Примеры процессов
4. Расширения и альтернативы
1. Общий обзор
Раскрыты система и технологические способы конфигурирования и применения сверточной нейронной сети (CNN) для распознавания болезней растений. В некоторых вариантах осуществления система запрограммирована на сбор фотоснимков зараженных растений или листьев, на которых отмечены области с симптомами заражения. Каждый фотоснимок может иметь несколько отмеченных областей. В зависимости от размера или группировки симптомных областей одна отмеченная область может включать только одно повреждение, вызванное одной болезнью, в то время как другая может включать множественные, близко расположенные повреждения, вызванные одной болезнью. Система запрограммирована на определение якорных рамок (по умолчанию рамок), имеющих различные соотношения сторон, в зависимости от этих отмеченных областей, для каждого сверточного слоя одностадийного многорамочного детектора (Single Shot Multibox Detector - SSD). Для некоторых типов растений распространенные заболевания приводят, в общем, ко многим соотношениям сторон, часть из которых имеет довольно экстремальные значения. Система запрограммирована на обучение SSD с использованием отмеченных областей и якорных рамок и на применение SSD к новым фотоснимкам для идентификации заболевших растений.
В некоторых вариантах осуществления система запрограммирована на сбор помеченных фотоснимков листьев кукурузы. Каждый фотоснимок может иметь одну или несколько отмеченных областей (эталонных рамок). Каждая отмеченная область может иметь одно или несколько повреждений, вызванных одним из множества заболеваний кукурузы, и быть помеченным одним заболеванием кукурузы. Система может быть запрограммирована на дальнейшую обработку отмеченных областей. В частности, система может быть запрограммирована на разделение отмеченной области на несколько или объединение нескольких отмеченных областей в одну на основе того, как области, соответствующие повреждению, размечены или сгруппированы на фотоснимке. Например, эксперт мог отметить на фотоснимке две части большого кластера повреждений, вызванных Южной Ржавчиной. Систему можно запрограммировать на слияние и расширение двух частей в одну отмеченную область, охватывающую весь кластер, потому что области, соответствующие разобщенным повреждениям в кластере, расположены близко друг к другу, а кластер покрывает большую часть листа.
В некоторых вариантах осуществления система запрограммирована на определение якорных рамок для каждого из ряда сверточных слоев SSD из полученных отмеченных областей. См. Liu W. и др. (2016) SSD: Single Shot MultiBox Detector в: Leibe В., Matas J., Sebe N., Welling M. (ред.) Computer Vision - ECCV 2016, стр. 21-37. Lecture Notes in Computer Science, том 9905. Springer, Cham. Система может быть запрограммирована на нормализацию и кластеризацию отмеченных областей и на вычисление агрегата для каждого кластера для определения якорной рамки. Каждая якорная рамка может, таким образом, иметь свой масштаб и соотношение сторон, репрезентативное для подмножества отмеченных областей, показывающих симптомы распространенного заболевания кукурузы. Для некоторых болезней кукурузы, соотношение сторон может варьироваться от 1/7 до 7.
В некоторых вариантах осуществления система запрограммирована на привязку каждой отмеченной области к якорной рамке в зависимости от формы отмеченной области. В частности, система может быть конфигурирована на завершение успешной привязки, когда совмещение якорной рамки может покрыть больше предопределенной процентной величины от отмеченной области. Далее система запрограммирована на обучение SSD изображениями, содержащими отмеченные области, соответствующие метки, якорные рамки и привязки.
В некоторых вариантах осуществления система запрограммирована на получение нового снимка кукурузного листа с клиентского устройства и подведение SSD к новому снимку для получения первоначальной идентификации нескольких областей на снимке и классификацию в одну из болезней кукурузы для каждого из нескольких областей с соответствующей доверительной оценкой. Когда одну и ту же область классифицируют по нескольким заболеваниям кукурузы, некоторые классификации, связанные с относительно низкой доверительной оценкой, могут быть отфильтрованы. Система запрограммирована на последующую передачу результатов классификации на клиентское устройство.
Система дает всевозможные технические преимущества. Было показано, что SSD достигают лучшей производительности, чем аналогичные CNN, будучи более быстрыми, чем предыдущие одностадийные детекторы, а также более точными, на самом деле столь же точными, как и более медленные методики, генерирующие точные предложения областей и осуществляющие пуллинг. Система обеспечивает подход к настройке и обучению SSD, который особенно подходит для классификации определенных типов задач, таких как симптомы болезней растений. Эти симптомы включают в себя повреждения, которые имеют размер и расположены определенным образом, а подход, предоставляемый системой, улавливает эту специфичность и, таким образом, еще больше улучшает производительность SSD при классификации симптомов болезни растений. Такое улучшение, в свою очередь, ведет к улучшению здоровья и росту растений.
Другие аспекты и признаки вариантов осуществления станут очевидны из других разделов описания.
2. Пример автоматизированной системы агроинтеллекта
2.1. Обзор структуры
На фиг.1 представлен пример автоматизированной системы, предназначенной для выполнения описанных далее функций, показанной в полевых условиях с другими устройствами, с которыми система может взаимодействовать. В одном варианте осуществления пользователь 102 владеет, управляет или обладает вычислительным устройством 104 для управления полевыми работами в полевых условиях или условиях, ассоциируемых с полевыми, таким как поле, предназначенное для сельскохозяйственной деятельности, или место управления одним или несколькими сельскохозяйственными полями. Компьютерное устройство 104 для управления полевыми работами запрограммировано или выполнено с возможностью предоставления полевых данных 106 компьютерной системе 130 агроинтеллекта через одну или более сетей 109.
Примеры полевых данных 106 включают:
а) идентификационные данные (например, площадь земли, наименование поля, идентификаторы поля, географические идентификаторы, идентификаторы границ, идентификаторы сельскохозяйственных культур и любые другие подходящие данные, которые могут быть использованы для идентификации сельскохозяйственных угодий, таких как единица общинной земли (CLU), номер партии и блока, номер земельного участка, географические координаты и границы, серийный номер фермы (FSN), номер фермы, номер поля, участка, населенного пункта и/или пастбища),
(b) данные об урожае (например, тип культуры, сорт культуры, севооборот, выращивается ли данная культура органическим способом, дата сбора урожая, фактическая история производства (ΑΡΗ), ожидаемая урожайность, урожайность, цена на продукцию, выручка от выращивания, влажность зерна, практика обработки почвы и информация о предыдущих вегетационных периодах),
(c) данные о почве (например, тип, состав, рН, органическое вещество (ОМ), возможность катионного обмена (ЦЭК)),
(d) данные о посадке (например, дата посадки, тип семян, относительная зрелость (РМ) посадочного материала, популяция семян),
(e) данные об удобрениях (например, тип питательных веществ (азот, фосфор, калий), тип применения, дата внесения, количество, источник, метод),
f) данные о химическом применении (например, пестицид, гербицид, фунгицид, другое вещество или смесь веществ, предназначенных для использования в качестве регулятора растений, дефолианта или влагопоглотителя, дата применения, количество, источник, метод),
g) ирригационные данные (например, дата применения, количество, источник, метод),
h) погодные данные (например, количество осадков, скорость выпадения осадков, прогнозируемые осадки, регион стока воды, температура, ветер, прогноз погоды, давление, видимость, облачность, индекс жары, точка росы, влажность, глубина снега, качество воздуха, восход солнца, закат солнца),
i) данные съемок (например, снимки и информация о световом спектре, получаемая с помощью датчика сельскохозяйственного оборудования, фотоаппарата, компьютера, смартфона, планшета, беспилотного летательного аппарата, самолета или спутника),
j) данные наблюдений в целях разведки (фотоснимки, видеозаписи, записи в свободной форме, голосовые записи), голосовые транскрипции, погодные условия (температура, осадки (текущие и с течением времени), влажность почвы, стадия роста сельскохозяйственных культур, скорость ветра, относительная влажность, точка росы, черный слой) и
k) почва, семена, фенология сельскохозяйственных культур, сообщения о вредителях и болезнях, а также источники прогнозов и базы данных.
Сервер 108 данных соединен с компьютерной системой 130 агроинтеллекта и запрограммирован или конфигурирован для передачи внешних данных 110 в компьютерную систему 130 агроинтеллекта через сеть 109. Сервер 108 внешних данных может быть в собственности или под управлением того же физического или юридического лица, что и автоматизированная система 130 агроинтеллекта, или другого физического или юридического лица, например, государственного учреждения, неправительственной организации (НПО) и/или частного поставщика услуг по передаче данных. Примерами внешних данных являются, в частности, данные о погоде, снимки, данные о почве или статистические данные, касающиеся урожайности сельскохозяйственных культур. Внешние данные 110 могут содержать ту же информацию, что и полевые данные 106. В некоторых вариантах осуществления внешние данные 110 предоставляет внешний сервер 108 данных, принадлежащий той же самой организации, которая владеет и/или управляет автоматизированной системой 130 агроинтеллекта. Например, автоматизированная система 130 агроинтеллекта может включать сервер данных, сфокусированный исключительно на том типе данных, который в ином случае мог бы быть получен из сторонних источников, таких как данные о погоде. В некоторых вариантах осуществления внешний сервер 108 данных может быть фактически включен в систему 130.
Сельскохозяйственная техника 111 может содержать один или несколько дистанционных датчиков 112, которые прямо или косвенно через сельскохозяйственную технику 111 соединены с автоматизированной системой 130 агроинтеллекта и запрограммированы или конфигурированы на передачу данных датчика в автоматизированную систему 130 агроинтеллекта. Примерами сельскохозяйственной техники 111 являются тракторы, комбайны, уборщики, сеялки, грузовики, оборудование для внесения удобрений, летательные аппараты, включая беспилотные летательные аппараты, и любые другие единицы физических машин или оборудования, как правило, мобильные машины, которые могут быть использованы для выполнения задач, связанных с сельским хозяйством. В некоторых вариантах осуществления одна единица техники 111 может включать множество датчиков 112, которые локально объединены в сеть на этой технике; сеть контроллеров (CAN) является примером такой сети, которая может быть установлена на комбайнах, уборщиках, опрыскивателях и культиваторах. Прикладной контроллер 114 соединен с автоматизированной системой 130 агроинтеллекта через сеть(и) 109 и запрограммирован или конфигурирован на получение одного или нескольких сценариев, которые используются для управления рабочими параметрами сельскохозяйственного транспортного средства или орудия из автоматизированной системы 130 агроинтеллекта. Например, интерфейс шины контроллерной сети (CAN) может быть использован для обеспечения связи от автоматизированной системы 130 агроинтеллекта до сельскохозяйственной техники 111 так, как CLIMATE FIELDVIEW DRIVE, доступная в Климатической корпорации, Сан-Франциско, Калифорния. Данные сенсоров могут содержать ту же информацию, что и полевые данные 106. В некоторых вариантах осуществления дистанционные датчики 112 не могут быть закреплены на сельскохозяйственной технике 111, но могут быть удаленно расположены в поле и могут обмениваться данными по сети 109.
Техника 111 может включать бортовой компьютер 115, который запрограммирован с приложением кабины, которое может состоять из версии или варианта мобильного приложения для устройства 104, описанного более подробно в других разделах настоящего документа. В одном варианте осуществления кабинный компьютер 115 включает компактный компьютер, часто планшетный компьютер или смартфон, с графическим дисплеем, например цветным дисплеем, который устанавливается в кабине оператора техники 111. Бортовой компьютер 115 может выполнять некоторые или все операции и функции, описанные далее в настоящем документе для мобильного компьютерного устройства 104.
Сеть (сети) 109 в широком смысле представляет собой любую комбинацию одной или нескольких сетей передачи данных, включая локальные вычислительные сети, широкополосные сети или глобальные сети, использующие любую из проводных или беспроводных линий связи, включая наземные или спутниковые линии связи. Сеть (сети) может быть реализована любым средством или механизмом, обеспечивающим обмен данными между различными элементами рис. 1. Различные элементы по фиг.1 могут также иметь прямые (проводные или беспроводные) линии связи. Датчики 112, контроллер 114, компьютер 108 с внешним сервером данных и другие элементы системы, каждый из которых содержит интерфейс, совместимый с сетью (сетями) 109, и запрограммирован или конфигурирован на использование стандартизированных протоколов для связи между сетями, таких как TCP/IP, Bluetooth, протокол CAN и протоколы более высокого уровня, такие как HTTP, TLS и т.п.
Автоматизированная система 130 агроинтеллекта запрограммирована или конфигурирована на прием полевых данных 106 с вычислительного устройства 104 диспетчера поля, внешних данных 110 с внешнего сервера данных 108 компьютера и данных датчика с удаленного датчика 112. Автоматизированная система 130 агроинтеллекта может быть дополнительно конфигурирована для размещения, использования или выполнения одной или нескольких компьютерных программ, других программных элементов, логики цифрового программирования, таких как FPGA или ASIC, или любой их комбинации для выполнения перевода и хранения значений данных, построения цифровых моделей одной или нескольких культур на одном или нескольких полях, генерирования рекомендаций и уведомлений, а также генерирования и отправки скриптов на контроллер внесения удобрений 114, в порядке, описанном далее в других разделах данного изобретения.
В одном варианте осуществления автоматизированная система 130 агроинтеллекта запрограммирована с коммуникационным слоем 132 или включает в себя коммуникационный слой 132, слой 134 презентации, слой 140 управления данными, слой 150 аппаратного обеспечения/виртуализации, а также хранилище 160 данных моделей и полей. "Слой" в данном контексте означает любую комбинацию электронных цифровых интерфейсных схем, микроконтроллеров, встроенного программного обеспечения, такого как драйверы и/или компьютерные программы или другие элементы программного обеспечения.
Коммуникационный слой 132 может быть запрограммирован или конфигурирован на выполнение функций интерфейса ввода/вывода, включая отправку запросов на вычислительное устройство 104 полевого менеджера, компьютер внешнего сервера 108 данных и удаленный датчик 112 для полевых данных, внешних данных и данных датчика соответственно. Слой 132 может быть запрограммирован или конфигурирован на передачу полученных данных в хранилище 160 данных модели и поля для хранения в качестве полевых данных 106.
Презентационный слой 134 может быть запрограммирован или конфигурирован на создание графического пользовательского интерфейса (GUI), который должен отображаться на вычислительном устройстве 104 полевого менеджера, бортовом компьютере 115 или других компьютерах, которые подключены к системе 130 через сеть 109. Графический интерфейс пользователя может включать элементы управления вводом данных, подлежащих отправлению в автоматизированную систему 130 агроинтеллекта, генерирования запросов на модели и/или рекомендации и/или отображения рекомендаций, уведомлений, моделей и других полевых данных.
Слой 140 управления данными может быть запрограммирован или конфигурирован для управления операциями чтения и записи с использованием хранилища 160 и других функциональных элементов системы, включая запросы и наборы результатов, передаваемые между функциональными элементами системы и хранилищем. Примеры уровня 140 управления данными включают, в частности, JDBC, код интерфейса SQL Server и/или код интерфейса HADOOP. Репозиторий 160 может представлять собой базу данных. В контексте данного документа термин "база данных" может относиться как к массиву данных, так и к системе управления реляционными базами данных (СУБД) или к обоим типам данных. В контексте данного документа база данных может включать любой набор данных, в том числе иерархические базы данных, реляционные базы данных, плоские файловые базы данных, объектно-реляционные базы данных, объектно-ориентированные базы данных, распределенные базы данных, а также любые другие структурированные наборы записей или данных, которые хранятся в компьютерной системе. Примеры СУБД включают, в частности, базы данных ORACLE®, MYSQL, IBM® DB2, MICROSOFT® SQL SERVER, SYBASE® и POSTGRESQL. Тем не менее, может быть использована любая база данных, которая предоставляет возможность использовать системы и методы, описанные в данном документе.
Когда полевые данные 106 не поступают непосредственно в автоматизированную систему агроинтеллекта через одну или несколько сельскохозяйственных машин или устройств сельскохозяйственной техники, которые взаимодействуют с автоматизированной системой агроинтеллекта, пользователю может быть предложено посредством одного или нескольких пользовательских интерфейсов на пользовательском устройстве (обслуживаемом автоматизированной системой агроинтеллекта) ввести такую информацию. В примере варианта осуществления пользователь может указать идентификационные данные, получив доступ к карте на устройстве пользователя (обслуживаемом автоматизированной системой агроинтеллекта) и выбрав конкретные CLU, которые были графически отображены на карте. В альтернативном варианте осуществления пользователь может указать идентификационные данные, получив доступ к карте на устройстве пользователя (обслуживаемом автоматизированной системой 130 агроинтеллекта) и прорисовав границы поля на карте. Такой выбор CLU или прорисовки карты представляют собой географические идентификаторы. В альтернативных вариантах осуществления пользователь может указать идентификационные данные, получив доступ к идентификационным данным поля (предоставляемым в виде файлов формы или в аналогичном формате) из Агентства сельскохозяйственного обслуживания Министерства сельского хозяйства США или из другого источника с помощью устройства пользователя и предоставив такие идентификационные данные поля в автоматизированную систему агроинтеллекта.
В одном примере осуществления автоматизированная система 130 агроинтеллекта запрограммирована на генерирование и отображение графического пользовательского интерфейса, включающего устройство управления данными для ввода данных. После идентификации одного или нескольких полей посредством методов, описанных выше, устройство управления данными может предоставить один или несколько виджетов графического интерфейса пользователя, которые при выборе могут идентифицировать изменения в поле, почве, культурах, методах обработки почвы или питательных веществах. Устройство управления данными может включать представление последовательного графика работ, представление электронной таблицы и/или одну или несколько редактируемых программ.
На фиг.5 показан пример представления последовательного графика работ для ввода данных. Используя дисплей, изображенный на фиг.5, в пользовательский компьютер можно ввести выбор конкретного поля и конкретной даты для добавления мероприятия. Мероприятия, отображаемые в верхней части последовательного графика работ, могут включать Nitrogen (Азот), Planting (Посадки), Practices (Методы) и Soil (Почву). Для добавления мероприятия по внесению азота пользовательский компьютер может предоставить информацию для выбора вкладки азот. Затем пользовательский компьютер на графике работ может выделить область для конкретного поля, чтобы указать внесение азота на выбранном поле. В ответ на выделение области конкретного поля на графике работ устройство управления данными может вывести на экран накладку для ввода данных, позволяющую ввести в пользовательский компьютер данные, касающиеся применения азота, процедур посадки, внесения удобрений в почву, процедур обработки почвы, методов орошения или другой информации, относящейся к конкретному полю. Например, если в пользовательском компьютере выбрана область на графике работ и указано внесение азота, то накладка для ввода данных может включать поля для ввода количества внесенного азота, даты внесения, типа используемого удобрения и любой другой информации, относящейся к внесению азота.
В одном из вариантов осуществления устройство управления данными предоставляет интерфейс для создания одной или нескольких программ. "Программа" в этом контексте означает набор данных, относящихся к азотным приложениям, процедурам посадки, внесению удобрений в почву, процедурам обработки почвы, методам орошения или другой информации, которая может быть связана с одним или несколькими полями и которая может храниться в цифровом хранилище данных для повторного использования в качестве набора данных в других операциях. После создания программы ее можно концептуально применять для одного или нескольких полей, а ссылки на программу можно хранить в цифровом хранилище в сочетании с данными, идентифицирующими поля. Таким образом, вместо ручного ввода идентичных данных, относящихся к одному и тому же азотному приложению для нескольких различных полей, пользовательский компьютер может создать программу, которая указывает на конкретное внесение азотных удобрений, а затем применить программу к нескольким различным полям. Например, в представлении графика работ на рис. 5 в двух верхних временных шкалах выбрана программа "Предпосевная", которая включает применение 150 фунтов азота/акр (170 кг/га) в начале апреля. Устройство управления данными может предоставить интерфейс для редактирования программы. В одном из вариантов осуществления, когда редактируется конкретная программа, то редактируется каждое поле, выбравшее эту конкретную программу. Например, на рис. 5, если программа "Предпосевная" редактируется таким образом, чтобы уменьшить применение азота до 130 фунтов N/акр (146 кг/га), два верхних поля могут быть обновлены с уменьшенным внесением азота на основании отредактированной программы.
В одном из вариантов осуществления в ответ на получение правок для поля с помеченной программой, устройство управления данными удаляет соответствие поля выбранной программе. Например, если на фиг.5 к верхнему полю добавляется азотное приложение, интерфейс может обновляться, указывая на то, что программа "Внесение весной" больше не применяется к верхнему полю. В то время как внесение азота в начале апреля может остаться, обновление программы "Предпосевная" не изменит применение азота в апреле.
На фиг.6 показан пример представления электронной таблицы для ввода данных. Используя дисплей, изображенный на фиг.6, пользователь может создавать и редактировать информацию для одного или нескольких полей. Устройство управления данными может включать электронные таблицы для ввода информации об азоте, посадках, технологиях и почве, как показано на фиг.6. Для редактирования определенной записи в пользовательском компьютере можно выбрать определенную запись в электронной таблице и обновить значения. Например, на фиг.6 изображено обновление целевого значения урожайности для второго поля. Кроме того, в пользовательском компьютере можно выбрать одно или несколько полей для применения одной или нескольких программ. В ответ на выбор программы для конкретного поля устройство управления данными может автоматически заполнить записи для конкретного поля на основе выбранной программы. Как и в случае с графиком работ, устройство управления данными может обновить записи для каждого поля, связанного с определенной программой, в ответ на получение обновления программы. Кроме того, устройство управления данными может удалить соответствие выбранной программы полю в ответ на получение редакторской правки для одной из записей данного поля.
В одном из вариантов осуществления данные модели и поля хранятся в хранилище 160 данных модели и поля. Информация о модели включают модели данных, созданные для одного или нескольких полей. Например, модель урожая может включать цифровую модель урожайности на одном или нескольких полях. Под "моделью" в данном контексте понимается электронный цифровой набор исполняемых инструкций и связанных между собой значений данных, которые способны принимать и отвечать на программный или другой цифровой вызов, активизацию или запрос разрешения на основе заданных входных значений, чтобы получить одно или несколько сохраненных или рассчитанных выходных значений, которые могут служить, среди прочего, основой для компьютеризованных рекомендаций, отображения выходных данных или управления машиной. Специалистам в данной области техники удобно выражать модели с помощью математических уравнений, но такая форма выражения не ограничивает раскрываемые в настоящем документе модели абстрактными понятиями; вместо этого каждая модель в настоящем документе имеет практическое применение в компьютере в виде сохраненных исполняемых инструкций и данных, реализующих модель с помощью компьютера. Модель может включать модель прошлых мероприятий на одном или нескольких полях, модель текущего состояния одного или нескольких полей и/или модель прогнозируемых мероприятий в одном или нескольких полях. Данные модели и поля могут храниться в структурах данных в памяти, строках в таблице базы данных, в плоских файлах или электронных таблицах, а также в других формах хранимых цифровых данных.
В одном из вариантов осуществления автоматизированная система 130 агроинтеллекта запрограммирована как серверный компьютер (сервер) 170 управления классификационной моделью. Сервер 170, кроме того, выполнен с возможностью включения инструкции 172 по конфигурации модели, инструкции 174 по построению модели, инструкции 176 по исполнению модели и инструкции 178 пользовательского интерфейса.
В некоторых вариантах осуществления в инструкции 172 по конфигурации модели предложены исполняемые компьютером инструкции по сбору исходных данных изображения и определению значений определенных параметров цифровой модели для распознавания болезней растений по исходным данным изображения. Если цифровой моделью является SSD, то исходными данными изображения могут быть фотоснимки растений, включающие отмеченные области, каждая из которых обозначена идентификатором заболевания растений. Отмеченные области могут быть обработаны с учетом полных изображений при построении обучающего множества для SSD. Исходными данными изображения могут быть также просто помеченные области с соответствующими метками. Соответствующие параметры SSD включают в себя группу якорных рамок. В инструкции 172 по конфигурации модели предлагаются исполняемые компьютером инструкции по созданию якорных рамок, представляющих симптомы болезней растений.
В некоторых вариантах осуществления инструкции 174 по построению модели предлагают исполняемые компьютером инструкции по построению обучающего множества и обучению цифровой модели посредством обучающего множества. Обучающее множество может включать изображения определенного размера с обозначенными областями и соответствующими метками или обрезанные, подбитые или масштабированные версии изображений с эквивалентными помеченными областями и соответствующими метками. В случае, когда цифровой моделью является SSD, обучающее множество также включает в себя привязки отмеченных областей к якорным рамкам.
В некоторых вариантах осуществления инструкции 176 по исполнению модели предлагают исполняемые компьютером инструкции по применению цифровой модели к новым изображениям для классификации. Новым изображением может быть новый фотоснимок растения, показывающий симптомы одного или нескольких заболеваний растения в одной или нескольких областях. Новое изображение может потребовать аналогичной обрезки, подбивки или масштабирования перед подачей в цифровую модель. Когда цифровой моделью является SSD, применение цифровой модели, как ожидается, даст по меньшей мере одну классификацию в определенной растительной болезни для каждого из одного или более регионов.
В некоторых вариантах осуществления инструкции 178 пользовательского интерфейса предлагают исполняемые компьютером инструкции по управлению обменом данных с другими устройствами. Обмен данных может включать получение исходных данных изображения, включая метки источника изображения, получение нового фотоснимка для классификации от клиентского устройства, отправку результатов классификации для нового фотоснимка на клиентское устройство или отправку цифровых данных, представляющих SSD, на другое клиентское устройство.
Каждый компонент сервера 170 содержит набор из одной или нескольких страниц оперативной памяти, например RAM, в автоматизированной системе 130 агроинтеллекта, в которую загрузили исполняемые инструкции и которые при их исполнении вынуждают автоматизированную систему агроинтеллекта выполнять функции или операции, описанные в настоящем документе со ссылкой на эти модули. Например, модуль конфигурации модели 172 может включать набор страниц в RAM, которые содержат инструкции, которые при их исполнении вызывают выполнение описанных в настоящем документе функций выбора области. Инструкции могут быть в машино-исполняемом коде в наборе инструкций CPU и могут быть скомпилированы на основе исходного кода, написанного на JAVA, С, С, OBJECTIVE-C или любом другом человеко-читаемом языке программирования или вычислительной среде, отдельно или в комбинации со скриптами на JAVASCRIPT, других языках сценариев и других исходных текстах программирования. Термин "страницы" предназначен для широкого обращения к любой области оперативной памяти, а конкретная терминология, используемая в системе, может варьироваться в зависимости от архитектуры памяти или архитектуры процессора. В другом варианте осуществления каждый компонент сервера 170 также может представлять собой один или несколько файлов или проектов исходного кода, которые в цифровом виде хранятся в запоминающем устройстве, таком как энергонезависимое ОЗУ или дисковое хранилище, в автоматизированной системе 130 агроинтеллекта или в отдельной системе хранения данных, которые при компиляции или интерпретации вызывают генерирование исполняемых инструкций, которые при исполнении вызывают выполнение автоматизированной системой агроинтеллекта функций или операций, описанных в настоящем документе со ссылкой на эти модули. Другими словами, чертежный рисунок может представлять собой способ, которым программисты или разработчики программного обеспечения организуют и упорядочивают исходный код для последующей компиляции в исполняемый файл или интерпретации в байткод или его эквивалент для исполнения автоматизированной системой 130 агроинтеллекта.
Аппаратный/виртуализационный слой 150 включает один или несколько центральных процессоров (ЦПУ), контроллеров памяти и других устройств, компонентов или элементов автоматизированной системы, таких как энергозависимая или энергонезависимая память, энергонезависимое хранилище, такое как диск, а также устройства ввода/вывода или интерфейсы, как показано и описано, например, на фиг.4. Слой 150 также может включать запрограммированные инструкции, которые конфигурированы на поддержку виртуализации, контейнеризации или других технологий.
Для иллюстрации наглядного примера на фиг.1 показано ограниченное количество экземпляров определенных функциональных элементов. Однако в других вариантах осуществления может быть любое количество таких элементов. Например, в вариантах осуществления могут быть использованы тысячи или миллионы различных мобильных вычислительных устройств 104, связанных с различными пользователями. Кроме того, система 130 и/или внешний сервер 108 данных могут быть реализованы с применением двух или более процессоров, ядер, кластеров или экземпляров физических машин или виртуальных машин, конфигурированных в отдельном месте или размещенных совместно с другими элементами в центре обработки данных, общем вычислительном комплексе или облачном вычислительном комплексе.
2.2. Обзор прикладных программ
В некоторых вариантах осуществления реализация функций, описанных в настоящем документе, с использованием одной или нескольких компьютерных программ или других элементов программного обеспечения, которые загружаются и выполняются с помощью одного или нескольких компьютеров общего назначения, приведет к тому, что компьютеры общего назначения будут конфигурированы как конкретная машина или как компьютер, специально приспособленный для выполнения функций, описанных в настоящем документе. Кроме того, каждая из описанных далее в настоящем документе блок-схем может служить, по отдельности или в сочетании с описанием процессов и функций в прозе, в качестве алгоритмов, планов или направлений, которые могут быть использованы для программирования компьютера или логики для реализации описанных функций. Иными словами, весь текст настоящего документа в прозе и все рисунки в совокупности призваны обеспечить раскрытие алгоритмов, планов или направлений, достаточных для того, чтобы специалист мог запрограммировать компьютер для выполнения функций, описанных в настоящем документе, в сочетании с навыком и знаниями специалиста данного уровня техники, учитывая уровень навыка, который соответствует изобретениям и раскрытиям этого типа.
В некотором варианте осуществления пользователь 102 взаимодействует с автоматизированной системой 130 агроинтеллекта, используя вычислительное устройство 104 управляющего полевыми работами, конфигурированное с операционной системой и одной или несколькими прикладными программами или приложениями; вычислительное устройство 104 управляющего полевыми работами также может взаимодействовать с автоматизированной системой агроинтеллекта независимо и автоматически под программным или логическим управлением, при этом прямое взаимодействие пользователя не всегда является обязательным. Вычислительное устройство 104 управляющего полевыми работами в широком смысле представляет собой один или несколько смартфонов, КПК, планшетных вычислительных устройств, ноутбуков, настольных компьютеров, рабочих станций или любых других вычислительных устройств, способных передавать и получать информацию и выполнять функции, описанные в настоящем документе. Вычислительное устройство 104 может обмениваться данными по сети с помощью мобильного приложения, хранящегося на вычислительном устройстве 104, а в некоторых вариантах исполнения устройство может быть подключено с помощью кабеля 113 или разъема к датчику 112 и/или контроллеру 114. Конкретный пользователь 102 может владеть, управлять или обладать и использовать в соединении с системой 130 более одного вычислительного устройства 104 управляющего полевыми работами одновременно.
Мобильное приложение может обеспечивать функциональность на стороне клиента через сеть с одним или несколькими мобильными вычислительными устройствами. В одном примере осуществления вычислительное устройство 104 управляющего полевыми работами может получить доступ к мобильному приложению через веб-браузер или через локальное клиентское приложение. Вычислительное устройство 104 управляющего полевыми работами может передавать данные и получать данные с одного или нескольких внешних серверов, используя веб-протоколы или форматы, такие как HTTP, XML и/или JSON, или приложений конкретных протоколов. В одном примере осуществления данные могут принимать форму запросов и ввода пользовательской информации, такой как полевые данные, в мобильное вычислительное устройство. В некоторых вариантах осуществления мобильное приложение взаимодействует с аппаратным и программным обеспечением отслеживания местоположения на вычислительном устройстве 104 управляющего полевыми работами, которое определяет местоположение вычислительного устройства 104 управляющего полевым работами с помощью стандартных методов отслеживания, таких как многолатерационные радиосигналы глобальной системы позиционирования (GPS), WiFi системы позиционирования или другие методы мобильного позиционирования. В некоторых случаях данные о местоположении или другие данные, связанные с устройством 104, пользователем 102 и/или учетной записью (учетными записями) пользователя, могут быть получены путем запроса к операционной системе устройства или путем запроса приложения на устройстве для получения данных от операционной системы.
В одном из вариантов осуществления вычислительное устройство 104 управляющего полевыми работами посылает полевые данные 106 в автоматизированную систему 130 агроинтеллекта, включающую, в частности, значения данных, представляющие одно или несколько из: географическое расположение одного или нескольких полей, информацию об обработке почвы для одного или нескольких полей, посевные культуры, посаженные на одном или нескольких полях, и почвенные данные, извлеченные из одного или нескольких полей. Вычислительное устройство 104 управляющего полевыми работами может посылать полевые данные 106 в ответ на ввод данных пользователем 102 с указанием значений данных для одного или нескольких полей. Кроме того, вычислительное устройство 104 управляющего полевыми работами может автоматически посылать полевые данные 106, когда одно или несколько значений данных становятся доступными вычислительному устройству 104 управляющего полевыми работами. Например, вычислительное устройство 104 управляющего полевыми работами может быть соединено с возможностью связи с дистанционным датчиком 112 и/или контроллером приложений 114, которые включают в себя датчик орошения и/или контроллер орошения. В ответ на получение данных, указывающих на то, что контроллер 114 внесения удобрений высвободил воду на одно или несколько полей, вычислительное устройство 104 управляющего полевыми работами может передать полевые данные 106 в автоматизированную систему 130 агроинтеллекта, указывая, что вода высвободилась на одном или нескольких полях. Данные с поля 106, указанные в этом сообщении, можно вводить и передавать посредством электронных цифровых данных, которые передаются между вычислительными устройствами с использованием параметрических URL-адресов по протоколу HTTP или другому подходящему протоколу связи или обмена сообщениями.
Коммерческим примером мобильного приложения является CLIMATE FIELDVIEW, коммерчески доступный в компании The Climate Corporation, Сан-Франциско, Калифорния. Приложение CLIMATE FIELDVIEW или другие приложения могут быть изменены, расширены или адаптированы с целью включения в них функций, возможностей и программирования, которые не были раскрыты ранее даты подачи такого изобретения. В одном варианте осуществления мобильное приложение включает интегрированную программную платформу, которая позволяет производителю принимать основанные на фактах решения об их работе, так как она объединяет исторические данные о полях производителя с любыми другими данными, которые производитель хочет сравнить. Комбинации и сравнения могут быть выполнены в режиме реального времени, и они основаны на научных моделях, которые обеспечивают потенциальные сценарии, позволяющие производителю принимать лучшие, более обоснованные решения.
На фиг.2 проиллюстрированы два взгляда на пример логической организации наборов инструкций в оперативной памяти при загрузке для выполнения примера мобильного приложения. В фиг.2 каждый названный элемент представляет собой область одной или нескольких страниц ОЗУ или другой оперативной памяти, или один или несколько блоков дискового хранилища или другого энергонезависимого хранилища, а также запрограммированные инструкции в этих областях. В одном варианте осуществления, с точки зрения (а), мобильное компьютерное приложение 200 включает инструкции 202 по совместному использованию данных о счетах-полях, инструкции 204 по обзору и оповещению, инструкции 206 по цифровой книге карт, инструкции 208 по семенам и посадке, инструкции 210 по азоту, инструкции 212 по погоде, инструкции 214 по полевых медико-санитарных условий и инструкции 216 по производительности.
В одном варианте мобильное компьютерное приложение 200 включает учетную запись, поля, ввод данных, инструкции 202 по совместному использованию, которые запрограммированы на получение, перевод и прием полевых данных от сторонних систем с помощью ручной загрузки или API. Типы данных могут включать, в частности, границы полей, карты урожайности, карты по состоянию на посадку, результаты испытаний почвы, карты по состоянию применения и/или хозяйственные зоны. Форматы данных могут включать, в частности, файлы форм, исходные форматы данных сторонних организаций и/или экспортированные данные систем управленческой информации о сельском хозяйстве (FMIS). Получение данных может происходить посредством ручной загрузки, электронной почты с вложениями, внешних API, которые проталкивают данные в мобильное приложение, или инструкций, которые вызывают API внешних систем для выталкивания данных в мобильное приложение. В одном варианте осуществления мобильное компьютерное приложение 200 включает ввод данных. В ответ на получение опции ввода данных, мобильное компьютерное приложение 200 может вывести на экран графический интерфейс пользователя для ручной загрузки файлов данных и импорта загруженных файлов в устройство управления данными.
В одном из вариантов осуществления инструкции 206 к книге цифровых карт содержат слои данных карты поля, хранящиеся в памяти устройства и запрограммированные средствами визуализации данных и геопространственными полевыми данными. Это обеспечивает фермеров удобной информацией, находящейся под рукой, для справки, ведения лесозаготовок и визуального представления о работе поля. В одном варианте осуществления обзор и инструкции 204 по оповещению запрограммированы таким образом, чтобы дать представление о том, что важно для производителя в целом, и своевременные рекомендации по принятию мер или сосредоточению внимания на конкретных вопросах. Это позволяет фермеру сконцентрироваться на том, что требует внимания, сэкономить время и сохранить урожайность в течение всего сезона. В одном варианте осуществления семена и инструкции 208 по посадке запрограммированы на предоставление инструментов для селекции семян, размещения гибридов и создания сценария, включая создание сценария изменяемой нормы внесения (VR), основанное на научных моделях и эмпирических данных. Это позволяет фермерам максимизировать урожайность или окупаемость инвестиций за счет оптимизированной покупки, размещения и засева семян.
В одном варианте осуществления инструкции 205 по созданию сценария запрограммированы на предоставление интерфейса для создания сценариев, включая сценарии производительности при изменяемой норме внесения (VR). Интерфейс позволяет фермерам создавать сценарии для полевых орудий, таких как внесение удобрений в почву, посадка и орошение. Например, интерфейс сценария посадки может включать в себя инструменты для определения типа посадочного материала. После получения опции типа семян, мобильное компьютерное приложение 200 может вывести на экран одно или несколько полей, разбитых на зоны управления, например слои данных карты поля, созданные в рамках инструкций к книге цифровых карт 206.
В одном варианте осуществления зоны управления включают в себя почвенные зоны вместе с панелью, идентифицирующей каждую почвенную зону, и названием почвы, текстурой, дренажем для каждой зоны или другими полевыми данными. Мобильное компьютерное приложение 200 может также вывести на карту одного или нескольких полей инструменты для редактирования или создания таких инструментов, как графические инструменты для рисования зон управления, например почвенных зон. Процедуры посадки могут быть применены ко всем зонам управления, или же разные процедуры посадки могут быть применены к различным подмножествам зон управления. При создании сценария мобильное компьютерное приложение 200 может сделать его доступным для загрузки в формате, читаемом контроллером приложения, например в архивированном или сжатом виде. Кроме того, и/или в качестве альтернативы, сценарий может быть отправлен непосредственно на бортовой компьютер 115 из мобильного компьютерного приложения 200 и/или загружен на один или несколько серверов данных и сохранен для дальнейшего использования.
В одном варианте осуществления инструкция 210 по азоту запрограммирована таким образом, чтобы обеспечить средства для принятия решений по азоту, визуализируя доступность азота для сельскохозяйственных культур. Это позволяет фермерам максимизировать урожайность или окупаемость инвестиций за счет оптимизированного применения азота во время сезона. Примеры запрограммированных функций включают в себя вывод на экран таких изображений, как изображения SSURGO, позволяющие рисовать зоны внесения удобрений, и/или изображения, полученные по данным почвы подобласти, таким как данные, полученные от датчиков, с высоким пространственным разрешением (до миллиметров или меньше в зависимости от близости расположения датчиков и разрешения); загрузку существующих зон, определяемых фермером; предоставление графика доступности питательных веществ для растений и/или карты, позволяющей настроить внесение азота в несколько зон; вывод сценариев для управления машинами; инструменты для ввода и настройки данных о массе; и/или карты для визуализации данных, среди прочего. "Ввод массива данных" в этом контексте может означать ввод данных один раз и последующее применение одних и тех же данных к нескольким полям и/или зонам, которые были определены в системе; например, данные могут включать одинаковые данные о внесении азота ко многим полям и/или зонам одного и того же фермера, но такой ввод массива данных применяется к вводу любого типа данных с полей в мобильное компьютерное приложение 200. Например, инструкции 210 по азоту могут быть запрограммированы на принятие описаний программ применения и практики азота и на принятие вводимых пользователем данных, указывающих на применение этих программ на нескольких полях. Под "программами применения азота" в этом контексте понимаются хранимые, именованные наборы данных, которые ассоциируются с: названием, цветовым кодом или другим идентификатором, одной или несколькими датами применения, типами материала или продукта для каждой из дат и количеств, методом применения или инкорпорации, например инъекции или трансляции, и/или количеством или нормами применения для каждой из дат, культурой или гибридом, которые являются предметом применения, среди прочего. В этом контексте "программы по азоту" означают хранимые, именованные наборы данных, которые ассоциируются с названием практики; предыдущей культурой; системой обработки почвы; датой первичной обработки почвы; одной или несколькими ранее использовавшимися системами обработки почвы; одним или несколькими показателями типа обработки почвы, например, навозом, который использовался. Инструкции 210 по азоту также могут быть запрограммированы на создание, приводящее к отображению графика азота, который показывает прогноз использования растениями указанного азота, а также прогноз избытка или недостатка; в некоторых вариантах осуществления различные цветовые индикаторы могут сигнализировать о величине избытка или недостатка. В одном из вариантов график азота является графическим изображением в компьютерном устройстве отображения, содержащим множество рядов, каждый из которых ассоциируется с полем и идентифицирует его; данные, указывающие какая культура посажена на поле, его размер, расположение на поле и графическое изображение периметра поля; в каждом ряду - шкалу времени по месяцам с графическими индикаторами, указывающими каждое внесение и количество азота в точках, связанных с названиями месяцев; и цифровые и/или цветные индикаторы излишка или недостатка, в которых цветными индикаторами указывается величина излишка или недостатка.
В одном из вариантов осуществления график азота может включать в себя один или несколько графических элементов для ввода данных пользователем, таких как циферблаты или ползунки, для динамического изменения программ внесения азота с тем, чтобы пользователь мог оптимизировать свой график азота. Затем пользователь может использовать свой оптимизированный график азота и связанные с ним программы посадки и отработки азота для реализации одного или нескольких сценариев, включая сценарии производительности при изменяемой норме внесения (VR). Инструкции 210 по азоту также могут быть запрограммированы на создание, приводящее к отображению карты азота, которая показывает прогнозы использования растениями указанного азота, а также то, прогнозируется ли избыток или дефицит; в некоторых вариантах осуществления различные цветовые индикаторы могут сигнализировать о величине избытка или недостатка. На карте азота могут быть показаны прогнозы использования растениями указанного азота, а также то, прогнозируется ли избыток или дефицит для различных периодов времени в прошлом и будущем (например, ежедневно, еженедельно, ежемесячно или ежегодно) с использованием числовых и/или цветных индикаторов избытка или дефицита, в которых цветами обозначена величина. В одном варианте осуществления карта азота может включать один или несколько графических элементов для ввода данных пользователем, таких как циферблаты или ползунки, для динамического изменения программ посадки и обращения с азотом так, чтобы пользователь мог оптимизировать свою карту азота, например, чтобы получить предпочтительное количество избытка или недостатка. Затем пользователь может использовать свою оптимизированную азотную карту и связанные с ней программы посадки и обращения с азотом для реализации одного или нескольких сценариев, включая сценарии производительности при изменяемой норме внесения (VR). В других вариантах осуществления аналогичные инструкции 210 по азоту могут быть использованы для внесения других питательных веществ (таких как фосфор и калий), применения пестицидов и программ орошения.
В одном варианте осуществления инструкции 212 по погоде запрограммированы для предоставления последних данных о погоде и прогнозной информации о погоде для конкретного поля. Это позволяет фермерам экономить время и иметь эффективный интегрированный дисплей для принятия ежедневных оперативных решений.
В одном варианте осуществления инструкции 214 по гигиене поля запрограммированы для предоставления своевременных изображений дистанционного зондирования, освещающих сезонные колебания культур и потенциальные проблемы. Примеры запрограммированных функций включают в себя проверку облаков для выявления возможных облаков или теней облаков; определение индексов азота на основе изображений с полей; графическую визуализацию слоев скаутов, включая, например, те, которые связаны с состоянием здоровья полей, и просмотр и/или обмен разведывательными заметками; и/или скачивание спутниковых изображений из нескольких источников и определение приоритетности изображений, в частности, для производителя.
В одном из вариантов осуществления инструкции 216 по эксплуатации запрограммированы на предоставление отчетов, аналитических и ознакомительных материалов с использованием данных, полученных на ферме, для оценки, осмысления и принятия решений. Это позволяет фермеру добиться лучших результатов на следующий год посредством основанных на фактах выводов о том, почему отдача от инвестиций была на прежнем уровне, и понимания факторов, ограничивающих доходность. Инструкции 216 по эксплуатации могут быть запрограммированы для связи по сети 109 с внутренними аналитическими программами, выполняемыми в автоматизированной системе 130 агроинтеллекта и/или внешнем сервере 108 данных и конфигурированы на анализ, в частности, таких показателей, как урожайность, разница в окупаемости, гибрид, популяция, зона SSURGO, свойства почвы или высота над уровнем моря. Программные отчеты и анализ могут включать анализ изменчивости урожайности, оценку эффекта обработки, сравнительный анализ урожайности и другие показатели в сравнении с другими фермерами, основанные, в частности, на анонимизированных данных, собранных от многих фермеров, или данные по семенам и посадке.
Приложения, конфигурированные таким образом, могут быть реализованы для различных платформ вычислительных устройств, сохраняя при этом тот же общий вид интерфейса пользователя. Например, мобильное приложение может быть запрограммировано на выполнение на планшетных компьютерах, смартфонах или серверах, доступ к которым осуществляется через браузеры на клиентских компьютерах. Кроме того, мобильное приложение, конфигурированное на планшетные компьютеры или смартфоны, может обеспечить полноценную работу приложения или бортового компьютерного приложения, подходящего для отображения и обработки возможностей бортового компьютера 115. Например, обращаясь теперь к представлению (b) на фиг.2, в одном из вариантов осуществления бортовое компьютерное приложение 220 может включать в себя бортовые карты инструкции 222, инструкции 224 для удаленного просмотра, инструкции 226 для сбора и передачи данных, инструкции 228 для машинного оповещения, инструкции 230 для передачи сценария и инструкции 232 для бортового скаутинга. Кодовая основа для инструкций вида (b) может быть такой же, как и для вида (а), а исполняемые файлы, реализующие код, могут быть запрограммированы на определение типа платформы, на которой они исполняются, и на демонстрацию с помощью графического интерфейса пользователя только тех функций, которые подходят для бортовой платформы или полной платформы. Такой подход позволяет системе распознавать явно различающиеся пользовательские функции, подходящие для внутрибортовой среды и для различной технологической бортовой среды. Карточные бортовые инструкции 222 могут быть запрограммированы на представление карт полей, ферм или регионов, которые могут быть полезны для управления работой машины. Инструкции 224 удаленного просмотра могут быть запрограммированы на включение, управление и предоставление снимков работы машины в режиме реального или близкого к реальному времени другим вычислительным устройствам, подключенным к системе 130 с помощью беспроводных сетей, проводных разъемов или адаптеров и т.п. Инструкции 226 по сбору и передаче данных могут быть запрограммированы на включение, управление и обеспечение передачи данных, собранных на датчиках и контроллерах, в систему 130 по беспроводным сетям, проводным разъемам или адаптерам и т.п. Инструкции 228 автоматических предупреждений могут быть запрограммированы на обнаружение проблем с работой станка или инструментов, связанных с бортом, и генерацию предупреждений для оператора. Сценарий передачи инструкций 230 может быть конфигурирован на передачу в сценариях инструкций, которые конфигурированы для управления работой станка или сбора данных. Скаутские бортовые компьютерные инструкции 232 могут быть запрограммированы на вывод на экран предупреждений, основанных на местоположении, и информации, полученной от системы 130, основанной на местоположении вычислительных устройств 104, сельскохозяйственной техники 111 или датчиков 112 в поле, а также на прием, управление и обеспечение передачи в систему 130 поисково-разведовательной информации основанной на местоположении сельскохозяйственной техники 111 или датчиков 112 в поле.
2.3. Поступление данных в компьютерную систему
В одном из вариантов осуществления внешний сервер 108 данных хранит внешние данные 110, включая данные о составе почвы для одного или нескольких полей и данные о погоде, представляющие температуру и осадки на одном или нескольких полях. Данные о погоде могут включать данные о погоде в прошлом и настоящем, а также данные прогноза погоды на будущее. В одном из вариантов осуществления внешний сервер 108 данных включает множество серверов, размещенных на различных логических объектах. Например, первый сервер может содержать данные о составе почвы, в то время как второй сервер может содержать данные о погоде. Кроме того, данные о составе почвы могут храниться на нескольких серверах. Например, один сервер может хранить данные, представляющие процентное содержание песка, ила и глины в почве, в то время как второй сервер может хранить данные, представляющие процентное содержание органического вещества (ОВ) в почве.
В одном из вариантов осуществления удаленный сенсор 112 содержит один или несколько сенсоров, которые запрограммированы или конфигурированы под производство одного или нескольких наблюдений. Удаленный сенсор 112 может быть воздушным датчиком, таким как спутник, датчиком транспортных средств, датчиком посадочной техники, датчиком обработки почвы, датчиком внесения удобрений или инсектицидов, датчиком для уборки урожая и любым другим оборудованием, способным принимать данные от одного или нескольких полей. В одном из вариантов осуществления контроллер 114 внесения удобрений запрограммирован или конфигурирован для получения инструкций от автоматизированной системы 130 агроинтеллекта. Контроллер 114 внесения удобрений также может быть запрограммирован или конфигурирован для управления рабочими параметрами сельскохозяйственного транспортного средства или орудия. Например, контроллер внесения удобрений может быть запрограммирован или конфигурирован для управления рабочими параметрами транспортного средства, таких как трактор, посадочное оборудование, почвообрабатывающее оборудование, оборудование для внесения удобрений или инсектицидов, оборудование для уборки урожая или другая сельскохозяйственная техника, такая как водяной клапан. В других вариантах осуществления могут быть применены любые комбинации датчиков и контроллеров, часть из которых приведена ниже лишь в качестве примера.
Система 130 может получать данные под управлением пользователя 102, в массовом порядке от большого числа фермеров, которые внесли данные в общую систему базы данных. Эту форму получения данных можно назвать "ручным вводом данных", так как для получения данных системой 130 запрашивается или запускается одна компьютерная операция или более, управляемая пользователем. В качестве примера можно привести приложение CLIMATE FIELDVIEW, коммерчески доступное у Climate Corporation, Сан-Франциско, Калифорния, для экспорта данных в систему 130 для хранения в хранилище 160.
Например, системы мониторинга семян могут как управлять компонентами сеялки, так и получать данные о посадке, в том числе сигналы от датчиков семян через сигнальный жгут, состоящий из магистральной сети CAN и соединений "точка-точка" для регистрации и/или диагностики. Системы контроля посевного материала могут быть запрограммированы или конфигурированы так, чтобы вывести на экран расстояние между посевным материалом, численность посевного материала и другую информацию через бортовой компьютер 115 или другие устройства в системе 130. Примеры приведены в документе US Pat. №8 738 243 и патент США. Pub. 20150094916, и настоящее описание предполагает знание тех других патентных изобретений.
Аналогичным образом, системы мониторинга урожайности могут включать датчики урожайности для уборочных машин, которые посылают результаты измерения урожайности в бортовой компьютер 115 или другие устройства в системе 130. В системах контроля урожайности может быть использован один дистанционный датчик 112 или более для получения результатов измерений влажности зерна в зерноуборочном комбайне или другом комбайне и передачи этих результатов пользователю через бортовой компьютер 115 или другие устройства в системе 130.
В одном из вариантов осуществления приведенные в качестве примера датчики 112, которые могут быть использованы с любым движущимся транспортным средством или устройством типа, описанного в настоящем документе, включают кинематические датчики и датчики положения. Кинематические датчики могут включать любые датчики скорости, такие как радар или колесные датчики скорости, акселерометры или гироскопы. Датчики положения могут включать в себя GPS-приемники или приемопередатчики, а также WiFi-приложения для определения местоположения или картографирования, которые запрограммированы на определение местоположения, в частности, на основе близлежащих точек доступа WiFi.
В одном из вариантов осуществления приведенные в качестве примера датчики 112, которые могут быть использованы вместе с тракторами или другими движущимися транспортными средствами, включают в себя датчики оборотов двигателя, датчики расхода топлива, счетчики площади или расстояния, которые взаимодействуют с сигналами GPS или радаров, датчики скорости отбора мощности, гидравлические датчики трактора, конфигурированные на обнаружение гидравлических параметров, таких как давление или расход и/или и датчики скорости гидравлического насоса, датчики скорости движения колес или пробуксовки колес. В одном из вариантов осуществления приведенные в качестве примера контроллеры 114, которые могут быть использованы вместе с тракторами, включают в себя: гидравлические контроллеры направления движения; контроллеры давления и/или контроллеры расхода; контроллеры скорости вращения гидравлических насосов; контроллеры или регуляторы скорости движения; контроллеры положения сцепного устройства; или контроллеры положения колес, обеспечивающие автоматическое рулевое управление.
В одном из вариантов осуществления приведенные в качестве примера датчики 112, которые могут быть использованы вместе с посадочным оборудованием, таким как высадкопосадочная машина, сеялки или пневматические сеялки, включают в себя: датчики семян, которые могут быть оптическими, электромагнитными или ударными; датчики прижимной силы, такие как датчики нагрузки, тензодатчики, датчики давления; датчики показателей почвы, такие как датчики отражения, датчики влажности, датчики электропроводности, оптические датчики остатков или датчики температуры; компонентные датчики эксплуатационных критериев, например, датчики глубины посадки, датчики давления в цилиндрах, датчики скорости вращения дисков, датчики приводных двигателей семян, датчики скорости в системе транспортировки семян или вакуумные датчики уровня; или датчики внесения пестицидов, например оптические или другие электромагнитные датчики, или датчики ударных воздействий. В одном из вариантов осуществления приведенные в качестве примера контроллеры 114, которые могут быть использованы вместе с таким оборудованием для посадки семян, включают в себя: контроллеры складывания инструментальных панелей, такие как контроллеры для клапанов, связанных с гидравлическими цилиндрами; контроллеры прижимной силы, такие как контроллеры для клапанов, связанных с пневматическими цилиндрами, подушками безопасности или гидравлическими цилиндрами и запрограммированных на приложение прижимной силы к отдельным рядам или всей раме сеялки; контроллеры глубины посадки, такие как линейные приводы; контроллеры дозирования, такие как электрические приводные моторы счетчиков семян, гидравлические приводные моторы счетчиков семян или муфты для управления валками; гибридные селекционные контроллеры, такие как приводные двигатели счетчиков семян, или другие приводы, запрограммированные для селективной подачи или предотвращения подачи семян или смеси семян к счетчикам семян или к центральным бункерным емкостям; контроллеры дозирования, такие как приводные двигатели счетчиков семян или приводные двигатели гидравлических счетчиков семян; контроллеры систем транспортировки семян, такие как контроллеры двигателей ленточных транспортеров; контроллеры маркеров, такие как контроллеры пневматических или гидравлических приводов; или контроллеры нормирования внесения пестицидов, такие как контроллеры приводов дозаторов, контроллеры размеров или положения отверстий.
В одном из вариантов осуществления приведенные в качестве примера датчики 112, которые могут быть использованы вместе с почвообрабатывающим оборудованием, включают в себя датчики положения таких инструментов, как хвостовики или диски; датчики положения инструментов для таких инструментов, которые конфигурированы на определение глубины, угла наклона или бокового расстояния; датчики прижимной силы; или датчики тягового усилия. В одном из вариантов осуществления приведенные в качестве примера контроллеры 114, которые могут быть использованы вместе с почвообрабатывающим оборудованием, включают в себя контроллеры прижимной силы или положения инструмента, например, контроллеры, конфигурированные на контроль глубины, угла наклона шашек или бокового расстояния между шашками.
В одном из вариантов осуществления приведенные в качестве примера датчики 112, которые могут быть использованы вместе с оборудованием для внесения удобрений, инсектицидов, фунгицидов и т.п., таких как системы для внесения удобрений на плантациях, аппликаторы для внесения удобрений в грунт или распылители удобрений, включают: датчики критериев системы подачи жидкости, такие как датчики расхода или давления; датчики, указывающие на то, какие клапаны напорной арматуры или клапаны трубопроводов подачи жидкости открыты; датчики, связанные с резервуарами, такие как датчики уровня наполнения; датчики секционных или общесистемных питающих линий или датчики питающих линий для конкретных рядов; или кинематические датчики, такие как акселерометры, расположенные на штангах опрыскивателя. В одном из вариантов осуществления приведенные в качестве примера контроллеры 114, которые могут быть использованы вместе с такими устройствами, включают контроллеры скорости насосов; контроллеры клапанов, которые запрограммированы на управление давлением, расходом, направлением, ШИМ и т.п.; или приводы положения, например, для высоты штанги, глубины подошвы или положения штанги.
В одном из вариантов осуществления приведенные в качестве примера датчики 112, которые могут быть использованы вместе с комбайнами, включают: мониторы урожайности, такие как датчики деформации ударной плиты или датчики положения, емкостные датчики потока, датчики нагрузки, датчики веса, или датчики крутящего момента, связанные с элеваторами или шнеками, или оптические или другие электромагнитные датчики высоты зерна; датчики влажности зерна, такие как емкостные датчики; датчики потери зерна, включая ударные, оптические или емкостные датчики; датчики рабочих характеристик жатки, таких как высота жатки, тип жатки, зазор между плитами, скорость подачи и скорость барабана; датчики рабочих характеристик сепараторов, таких как зазор подбарабанья, скорость вращения ротора, зазор колодки или зазор мякинного решета; датчики положения, работы или скорости шнеков; или датчики частоты вращения двигателя. В одном из вариантов осуществления приведенные в качестве примера контроллеры 114, которые могут быть использованы вместе с комбайнами, включают в себя: контроллеры рабочих характеристик жатки, таких как высота жатки, тип жатки, зазор между плитами, скорость подачи или скорость барабана; контроллеры рабочих характеристик сепаратора таких, как зазор подбарабанья, скорость вращения ротора, зазор колодки или зазор мякинного решета; или контроллеры положения, работы или скорости шнека.
В одном из вариантов осуществления приведенные в качестве примера датчики 112, которые могут быть использованы вместе с тележками для зерна, включают датчики веса или датчики положения, работы или скорости шнека. В одном из вариантов осуществления приведенные в качестве примера контроллеры 114, которые могут быть использованы вместе с тележками для зерна, включают контроллеры положения, работы или скорости шнека.
В одном из вариантов осуществления приведенные в качестве примера датчики 112 и контроллеры 114 могут быть установлены в беспилотных летательных аппаратах (БПЛА) или "дронах". Такие датчики могут включать в себя: камеры с детекторами, эффективно работающими в любом диапазоне электромагнитного спектра, включая видимый свет, инфракрасный, ультрафиолетовый, ближний инфракрасный (БИК) и т.п.; акселерометры; высотомеры; датчики температуры; датчики влажности; датчики с питовыми трубками или другие датчики скорости воздуха или ветра; датчики срока службы батарей; или радиолокационные излучатели и приборы обнаружения отраженной радиолокационной энергии; другие излучатели электромагнитного излучения и приборы обнаружения отраженного электромагнитного излучения. Такие контроллеры могут включать устройства наведения или управления двигателями, контроллеры поверхностей управления, контроллеры камер или контроллеры, запрограммированные на включение, эксплуатацию, получение данных от любого из вышеперечисленных датчиков, управление и конфигурацию. Примеры приведены в документе US Pat. Арр. No. 14/831 165, и настоящее описание предполагает знание этого другого описания изобретения к патенту.
В одном из вариантов осуществления датчики 112 и контроллеры 114 могут быть прикреплены к пробоотборнику и измерительному устройству, которое конфигурировано или запрограммировано на отбор проб почвы и проведение химических тестов почвы, тестов на влажность почвы и других тестов, относящихся к почве. Например, может быть использовано устройство, раскрытое в патентной заявке US 15/551 582, поданной 16 августа 2017 г., и настоящее описание предполагает знание описания изобретения к этому патенту.
В одном из вариантов осуществления датчики 112 и контроллеры 114 могут включать погодные устройства для мониторинга погодных условий полей. Например, устройство, раскрытое в предварительной заявке на патент США US 62/154,207, поданной 29 апреля 2015 г., предварительной заявке на патент США US 62/175,160, поданной 12 июня 2015 г., предварительной заявке на патент США US 62/198,060, поданной 28 июля 2015 г., и предварительной заявке на патент США US 62/220,852, поданной 18 сентября 2015 г., может быть использовано, и настоящее описание предполагает знание описаний изобретений к этим патентам.
2.4. Обзор процесса - обучение агрономической модели
В одном из вариантов осуществления автоматизированная система 130 агроинтеллекта запрограммирована или конфигурирована для создания агрономической модели. В данном контексте, агрономическая модель представляет собой структуру данных в памяти автоматизированной системы 130 агроинтеллекта, которая включает полевые данные 106, такие как идентификационные данные и данные об урожае для одного или нескольких полей. Агрономическая модель может также включать рассчитанные агрономические свойства, которые описывают либо условия, которые могут влиять на рост одной или нескольких культур на поле, либо свойства одной или нескольких культур, либо и то, и другое. Кроме того, агрономическая модель может включать рекомендации, основанные на таких агрономических факторах, как рекомендации по культурам, рекомендации по орошению, рекомендации по посадке, рекомендации по удобрениям, рекомендации по фунгицидам, рекомендации по пестицидам, рекомендации по уборке урожая и другие рекомендации по управлению сельскохозяйственными культурами. Агрономические факторы могут также использоваться для оценки одного или нескольких результатов, связанных с культурами, таких как урожайность. Агрономическая урожайность культуры - это оценка количества произведенной культуры или, в некоторых примерах, выручки или прибыли, полученной от этой культуры.
В одном из вариантов осуществления автоматизированная система 130 агроинтеллекта может использовать предварительно конфигурированную агрономическую модель для расчета агрономических свойств, связанных с полученными текущими данными о местоположении и урожае для одного или нескольких полей. Предварительно конфигурированная агрономическая модель основана на ранее обработанных полевых данных, включая, в частности, идентификационные данные, данные об урожае, данные об удобрениях и данные о погоде. Предварительно конфигурированная агрономическая модель может быть подвергнута перекрестной проверке для обеспечения точности модели. Перекрестная проверка может включать сравнение с наземной правкой, которая сравнивает прогнозируемые результаты с фактическими результатами на поле, например, сравнение оценки осадков с датчиком дождя или датчиком, предоставляющим данные о погоде в том же или близлежащем месте, или оценку содержания азота с измерением образца почвенной пробы.
На фиг.3 показан программируемый процесс, посредством которого автоматизированная система агроинтеллекта генерирует одну или несколько предварительно конфигурированных агрономических моделей, используя полевые данные, предоставляемые одним или несколькими источниками данных. Фиг. 3 может представлять собой алгоритм или инструкцию по программированию функциональных элементов автоматизированной системы 130 агроинтеллекта для выполнения описанных операций.
В блоке 305 автоматизированная система 130 агроинтеллекта конфигурирована или запрограммирована на осуществление предварительной обработки агрономических данных, полученных из одного или нескольких источников данных. Данные с поля, полученные из одного или нескольких источников данных, могут быть предварительно обработаны с целью устранения шумов, искажающих эффектов и смещающих факторов в пределах агрономических данных, включая отклонения от нормы, которые могут негативно повлиять на значения получаемых полевых данных. В одном из вариантов осуществления предварительная обработка агрономических данных может включать, в частности, удаление значений данных, обычно связанных с выбросами, конкретные точки данных измерений, которые, как известно, излишне искажают другие значения данных, сглаживание данных, агрегирование или методы отбора проб, используемые для удаления или уменьшения аддитивного или мультипликативного воздействия шума, и другие методы фильтрации или получения данных, используемые для обеспечения четкого различия между позитивными и негативными входными данными.
В блоке 310 автоматизированная система 130 агроинтеллекта конфигурирована или запрограммирована для осуществления выбора поднабора данных с использованием предварительно обработанных полевых данных с целью определения набора данных, полезных для создания первоначальной агрономической модели. Автоматизированная система 130 агроинтеллекта может обеспечить методы отбора подмножеств данных, как например метод генетического алгоритма, метод моделирования всех поднаборов, метод последовательного поиска, метод пошаговой регрессии, метод оптимизации стаи частиц и метод оптимизации муравьиных колоний. Например, метод выбора генетического алгоритма использует адаптивный эвристический алгоритм поиска, основанный на эволюционных принципах естественного отбора и генетики, для определения и оценки наборов данных в пределах предварительно обработанных агрономических данных.
В блоке 315 автоматизированная система 130 агроинтеллекта конфигурирована или запрограммирована на реализацию оценки набора полевых данных. В одном из вариантов осуществления определенный набор полевых данных оценивается путем создания агрономической модели и использования конкретных пороговых значений качества для созданной агрономической модели. Агрономические модели можно сравнивать и/или проверять посредством одного или нескольких методов сравнения, таких как, например, среднеквадратичная ошибка с перекрестной проверкой (RMSECV), среднеабсолютная ошибка и среднепроцентная ошибка. Например, система RMSECV может проводить перекрестную валидацию агрономических моделей путем сравнения прогнозируемых значений агрономических показателей, созданных агрономической моделью, с историческими значениями собранных и проанализированных агрономических показателей. В одном из вариантов осуществления логика оценки наборов агрономических данных используется в качестве контура обратной связи, в которой наборы агрономических данных, которые не соответствуют настроенным пороговым значениям качества, используются на будущих этапах выбора подмножества данных (блок 310).
В блоке 320 автоматизированная система 130 агроинтеллекта конфигурирована или запрограммирована на создание агрономической модели на основе перекрестно подтвержденных наборов агрономических данных. В одном из вариантов осуществления разработка агрономической модели может реализовать многомерную регрессию для создания предварительно конфигурированных моделей агрономических данных.
В блоке 325 автоматизированная система 130 агроинтеллекта конфигурирована или запрограммирована для хранения предварительно конфигурированных моделей агрономических данных для оценки полевых данных в будущем.
2.5. Пример внедрения - обзор аппаратного обеспечения
В соответствии с одним из вариантов осуществления описанные здесь методики реализуют одним или несколькими специализированными вычислительными устройствами. Специализированные вычислительные устройства могут быть жестко смонтированными для выполнения технических решений или могут включать цифровые электронные устройства, такие как одна или несколько специализированных интегральных схем (СИС), или программируемые пользователем вентильные матрицы (ППВМ), которые жестко запрограммированы для выполнения этих технических решений, или могут включать один или несколько аппаратных процессоров общего назначения, запрограммированных для выполнения технических решений в соответствии с программными инструкциями в аппаратно-реализованном программном обеспечении, памяти, других запоминающих устройствах или их комбинации. Такие специализированные вычислительные устройства могут также сочетать пользовательскую аппаратную логику, специализированные интегральные схемы (СИС) или программируемые логические интегральные схемы (ПЛИС) с пользовательским программированием для выполнения технических решений. Специализированные вычислительные устройства могут представлять собой настольные компьютерные системы, портативные компьютерные системы, карманные устройства, сетевые устройства или любое другое устройство, которое включает аппаратно- и/или программно-реализованную логику для осуществления технических решений.
Например, на фиг.4 представлена блок-схема, иллюстрирующая компьютерную систему 400, на которой может быть реализован вариант изобретения. Компьютерная система 400 включает шину 402 или другой механизм связи для передачи информации, а также аппаратный процессор 404, соединенный с шиной 402 для обработки информации. Аппаратный процессор 404 может быть, например, микропроцессором общего назначения.
Компьютерная система 400 также включает в себя оперативную память 406, например оперативное запоминающее устройство (ОЗУ) или другое устройство динамического хранения данных, соединенное с шиной 402 для хранения информации и инструкций, выполняемых процессором 404. Память 406 также может быть использована для хранения временных переменных или другой промежуточной информации во время выполнения инструкций, которые будут выполняться процессором 404. Такие инструкции при хранении на долговременных носителях информации, доступных для процессора 404, преобразуют вычислительную систему 400 в специализированную машину, конфигурированную на выполнение операций, указанных в инструкциях.
Далее компьютерная система 400 включает постоянное запоминающее устройство (ПЗУ) 408 или другое статическое запоминающее устройство, подключенное к шине 402 для хранения статической информации и инструкций для процессора 404. Для хранения информации и инструкций поставляется и подключается к шине 402 запоминающее устройство 410, например, магнитный диск, оптический диск или полупроводниковый диск.
Компьютерная система 400 может быть подключена через шину 402 к дисплею 412, например к электронно-лучевой трубке (ЭЛТ), для отображения информации пользователю компьютера. Устройство 414 ввода данных, включая буквенно-цифровые и другие клавиши, подключается к шине 402 для передачи информации и выбора команд процессору 404. Другим типом устройства ввода данных пользователя является управление курсором 416, такие как мышь, трекбол или клавиши направления курсора для передачи информации о направлении и выбора команд процессору 404, а также для управления движением курсора на дисплее 412. Это устройство ввода обычно имеет две степени свободы по двум осям, первая ось (например х) и вторая ось (например у), что позволяет устройству задавать позиции в плоскости.
Компьютерная система 400 может реализовать описанные здесь методы с использованием настраиваемой аппаратно-реализованной логики, одной или нескольких СИС или ППВМ, встроенного программного обеспечения и/или программной логики, которые в сочетании с компьютерной системой приводят к тому или программируют так, что компьютерная система 400 превращается в специализированную машину. В соответствии с одним из вариантов осуществления описанные здесь технические решения выполняются компьютерной системой 400 в результате выполнения процессором 404 одной или нескольких последовательностей одной или нескольких инструкций, содержащихся в оперативной памяти 406. Такие инструкции могут быть перенесены в оперативную память 406 из другого носителя информации, например с устройства хранения данных 410. Выполнение последовательностей инструкций, содержащихся в оперативной памяти 406, вынуждает процессор 404 выполнять описанные здесь стадии обработки. В альтернативных вариантах осуществления вместо или в комбинации с инструкциями программного обеспечения может быть применена аппаратно-реализуемая схема.
Используемый здесь термин "носитель информации" относится к любым носителям информации долговременного хранения, на которых хранятся данные и/или инструкции, приводящие к специфической работе машины. Такие носители информации могут представлять собой энергонезависимые и/или энергозависимые носители. К энергонезависимым носителям относятся, например, оптические диски, магнитные диски или полупроводниковые накопители, например устройство хранения 410. Энергонезависимые носители включают в себя динамическую память, например операционную память 406. К распространенным формам носителей информации относятся, например, дискета, гибкий диск, жесткий диск, твердотельный накопитель, магнитная лента или любой другой магнитный носитель данных, CD-ROM, любой другой оптический носитель данных, любой физический носитель с шаблонами отверстий, ОЗУ, ПИЗУ и ЭППЗУ, FLASH-EPROM, NVRAM, любая другая микросхема памяти или картридж.
Носитель информации отличается от передающей среды, но может быть использован в соединении с ней. Передающая среда участвуют в передаче информации между носителями информации. Например, передающая среда включает коаксиальные кабели, медный провод и оптоволокно, в том числе провода, которые представляют собой шины 402. Передающая среда также может принимать форму акустических или световых волн, таких как те, которые генерируются во время радиоволновой и инфракрасной передачи данных.
Различные формы передающей среды могут быть вовлечены в переносе одной или нескольких последовательностей одной или нескольких инструкций процессору 404 для исполнения. Например, инструкции могут первоначально переноситься на магнитный диск или полупроводниковый диск удаленного компьютера. Удаленный компьютер может загрузить инструкции в свою динамическую память и отправить их по телефонной линии с помощью модема. Модем локальной компьютерной системы 400 может принимать данные по телефонной линии и использовать инфракрасный передатчик для преобразования данных в инфракрасный сигнал. Инфракрасный детектор может принимать данные, содержащиеся в инфракрасном сигнале, а соответствующая схема может подать данные на шину 402. Шина 402 передает данные в оперативную память 406, из которой процессор 404 извлекает и выполняет инструкции. Инструкции, получаемые оперативной памятью 406, могут опционально храниться в запоминающем устройстве 410 либо до, либо после выполнения процессором 404.
Компьютерная система 400 также включает в себя коммуникационный интерфейс 418, соединенный с шиной 402. Коммуникационный интерфейс 418 обеспечивает двухстороннюю передачу данных с сетевым каналом 420, который подключен к локальной сети 422. Например, коммуникационный интерфейс 418 может быть картой интегрированной цифровой сети услуг (ISDN), кабельным модемом, спутниковым модемом или модемом для обеспечения передачи данных с соответствующим типом телефонной линии. В качестве другого примера коммуникационный интерфейс 418 может быть картой локальной вычислительной сети (ЛВС) для обеспечения передачи данных с совместимой ЛВС. Также могут быть реализованы и беспроводные соединения. В любой такой реализации коммуникационный интерфейс 418 посылает и принимает электрические, электромагнитные или оптические сигналы, которые передают цифровые потоки данных, представляющие различные виды информации.
Сетевой канал 420 обычно обеспечивает передачу данных по одной или нескольким сетям к другим устройствам передачи данных. Например, канал связи 420 может обеспечивать подключение по локальной сети 422 к хост-компьютеру 424 или к устройству передачи данных, эксплуатируемому интернет-провайдером (Internet Service Provider, ISP) 426. Интернет-провайдер 426, в свою очередь, предоставляет услуги передачи данных через всемирную сеть пакетной передачи данных, которую сейчас принято называть "Интернет" 428. В локальной сети 422 и Интернете 428 используют электрические, электромагнитные или оптические сигналы, передающие цифровые потоки данных. Сигналы через различные сети и сигналы по сетевому каналу 420 и через коммуникационный интерфейс 418, которые передают цифровые данные в и из компьютерной системы 400, являются примерами форм передачи данных.
Компьютерная система 400 может отправлять сообщения и принимать данные, включая программный код, по сети (сетям), сетевому каналу 420 и интерфейсу связи 418. На примере Интернета сервер 430 может передавать запрашиваемый код прикладной программы через Интернет 428, ISP 426, локальную сеть 422 и коммуникационный интерфейс 418. Полученный код может быть выполнен процессором 404 по мере его получения и/или сохранен в запоминающем устройстве 410, или другом энергонезависимом запоминающем устройстве для последующего выполнения.
3. Описания функций
3.1. Выявление заболеваний растений
Сегодня доступны различные методы классификации, основанные на анализе изображений. Эти методы классификации могут быть использованы для анализа фотоснимков растений и классификации фотоснимков по заданным классам болезней или классу без болезней, тем самым выявляя потенциальное заражение растений соответствующими болезнями. Некоторые из этих методов классификации включают CNN, в том числе SSD.
Как правило, SSD начинается с базовой CNN, содержащей ряд сверточных слоев, которые соответствуют рецептивным разномасштабным полям. Затем в SSD выполняется классификация посредством карт признаков, созданных не только последним сверточным слоем, но и другими сверточными слоями. Точнее, в SSD используют набор определяемых пользователем якорных рамок, которые обычно имеют различные размеры и соотношения сторон и которые соответствуют всевозможным признакам заданных классов, для каждого из указанных сверточных слоев в базовой CNN. Затем SSD включает набор 4+с малых (например 3×3) фильтров для каждого из якорных рамок (в так называемом сверточном слое признаков), причем 4 из них соответствуют четырем сторонам якорной рамки, а 'с' - числу классов для каждого из сверточных слоев. Эти маленькие фильтры обучаются эталонными изображениями известных признаков для каждого из классов. Эти изображения могут иметь всевозможные размеры и соотношения сторон, и каждое изображение ассоциируется с классом и якорной рамкой. Эти небольшие фильтры могут быть использованы для определения того, соответствует ли область, очерченная одной из якорных рамок на карте признаков, созданной соответствующим сверточным слоем, признакам одного из классов.
Как описано выше, SSD может распознать всевозможные признаки классов, имеющих всевозможные размеры и соотношения сторон на одном или нескольких изображениях, и классифицировать части изображений в классы с соответствующими оценками достоверности в одну стадию, не требуя начальной, отдельной стадии генерации предполагаемой области для определения местоположения признаков на изображениях. Возможно, что SSD изначально классифицирует область изображения на несколько классов. Немаксимальное подавление (NMS) может быть применено для выбора одного из нескольких классов в качестве окончательной классификации. Было показано, что SSD быстрее, чем предыдущие одностадийные детекторы, а также точнее, на самом деле, как и более медленные способы, которые генерируют точные предложения области и осуществляют пуллинг. На платформе GitHub доступны сторонние библиотеки, реализующие SSD-функции с использованием библиотеки Keras и Python, которые могут использовать VGG16 в качестве базовой CNN в качестве примера.
3.2. Конфигурация цифровой модели
В некоторых вариантах осуществления сервер 170 запрограммирован на построение цифровой модели для выявления заражения болезнями растений по снимкам растений посредством SSD. Для кукурузы распространенными болезнями растений являются антракозовая листьевая недостаточность (ALB), обыкновенная ржавчина (CR), глазная оспа (EYE), серая листьевая недостаточность (GLS), вилт Госса (GW), северная листьевая недостаточность (NLB), северная листьевая пятнистость(NLS), южная листьевая недостаточность (SLB) и южная ржавчина (SR). Цифровая модель может быть предназначена для классификации изображений по определенному числу классов, соответствующему определенному числу таких заболеваний растений. Сервер 170 запрограммирован на первое получение набора изображений, таких как фотоснимки листьев кукурузы, которые могут иметь отмеченные области симптомов заболевания или непосредственно характеризовать такие симптомы заболевания.
На фиг.7А приведены примеры фотоснимков листьев кукурузы, каждая из которых имеет симптомы одного заболевания. На рисунке 720 показаны симптомы GLS в рамке (определяющей отмеченную область) 704 и в рамке 706. Рамка 704, помеченная как "GLS", включает одно повреждение, а рамка 706, также помеченная как "GLS", включает отсоединенное, но близко расположенное повреждение, что не редкость. Рамка 704 и рамка 706 имеют разные размеры и похожи, но отличаются соотношениями сторон. Наличие одной рамки 706 вместо нескольких рамок для каждого из разъединенных повреждений может повысить эффективность обучения и выполнения цифровой модели. На снимке 722 показаны симптомы SR в рамке 708, которая включает большую группу отдельных повреждений, как это часто бывает. Рамка 708 также имеет четкий размер и соотношение сторон.
На рисунке 7В приведен пример фотоснимка кукурузного листа с симптомами множественных заболеваний. На рисунке 724 показаны симптомы GLS в рамке 710. На рисунке 724 также показаны симптомы CR в рамке 712, который включает множество отдельных повреждений. Рамка 710, помеченная как "GLS", и рамка 712, помеченная как "CR", имеют разные размеры и соотношение сторон. Хотя рамка 712 включает множественные повреждения, поскольку преобладают повреждения от CR, эта отмеченная область, соответствующая рамке 712, все же может служить хорошей выборкой для CR.
В некоторых вариантах осуществления сервер 170 запрограммирован на обработку каждого изображения, имеющего отмеченные области, с соблюдением определенных правил, которые могут завершать или совершенствовать маркировку. Сервер 170 может быть конфигурирован на разбиение каждой маркированной области на несколько областей или на объединение нескольких маркированных областей в одну в соответствии с ограничением на размер маркированной области, плотность кластера повреждений или пропорцию между кластером и листом. Например, вместо отметки рамки 712 на фотоснимке 724 могла быть только небольшая отмеченная область для индивидуального CR-повреждения. Сервер 170 может быть запрограммирован на автоматическое расширение этой отмеченной области до рамки 712, исходя из обнаружения близлежащих повреждений и определения общего размера кластера повреждений относительно размера листа. Кроме того, сервер 170 может быть конфигурирован на ограничение количества отмеченных областей в каждом изображении, например не более шести, для упрощения процесса обучения SSD. Например, сервер 170 может быть запрограммирован на автоматическое уменьшение количества помеченных областей на изображении 724 с текущих семи до шести путем снятия метки отмеченной области, имеющей наименьший размер, или области с таким же соотношением сторон, как и у другой отмеченной области.
В некоторых вариантах осуществления сервер 170 запрограммирован на определение якорных рамок для сверточных слоев в твердотельном накопителе. Каждая якорная рамка может быть выражена в единицах длины, соотношения сторон и коэффициента масштабируемости. Например, единица длины может быть десять пикселей, отношение ширины к высоте может быть 1.0, а коэффициент масштабируемости может быть 1, в результате чего якорная рамка будет состоять из десяти пикселей по ширине и десяти пикселей по длине. Соотношение сторон может быть и 2.0, что приводит к якорной рамке, состоящей из двадцати пикселей по ширине и десяти пикселей по длине. Коэффициент масштабирования может быть равен 2.0, в результате чего получается якорная рамка из двадцати пикселей по ширине и двадцати пикселей по длине. Сервер 170 может быть запрограммирован на применение отмеченных областей, например, соответствующих рамкам 704, 706, 708, 710 или 712, для задания якорных рамок. Сервер 170 можно запрограммировать на стандартизацию отмеченных областей (например, на фиксированное расстояние между камерой и растением и фиксированное разрешение камеры), сгруппировать однотипные области в один кластер и вычислить суммарный размер и соотношение сторон для каждого кластера для определения масштабных факторов и соотношений сторон. Поскольку ряд сверточных слоев в базовой CNN обычно соответствует все большим рецептивным полям, сервер можно запрограммировать на назначение все больших коэффициентов масштабирования для ряда сверточных слоев. Сервер можно также запрограммировать на применение коэффициента масштабирования, например 0,1, который меньше коэффициента масштабирования, применяемого в типичной реализации SSD, чтобы помочь идентифицировать очень маленькие повреждения, вызванные определенными болезнями кукурузы, или другие очень маленькие симптомы болезни. Например, коэффициенты масштабирования могут быть 0,1, 0,2, 0,37, 0,54, 0,71, 0,88, 1,05 для серии из шести сверточных слоев, при этом одному сверточному слою приписывается один коэффициент масштабирования для всех якорных рамок. Для болезней кукурузы общие соотношения сторон включают 1,0/7,0, 1,0/5,0, 1,0/3,0, 0,5, 1,0, 2,0, 3,0, 5,0 или 7,0.
3.3. Учебный комплект и построение цифровой модели
В некоторых вариантах осуществления сервер 170 запрограммирован на масштабирование, заполнение или иную обработку изображения для получения конечных изображений учебного набора. Например, доступные на платформе GitHub функции max_crop_and_resize и random_pad_and_resize могут быть адаптированы для генерации вариантов исходных изображений. Сервер 170 запрограммирован так, чтобы каждый вариант ассоциировался с отмеченными областями и соответствующими метками, как на оригинальном изображении. Для выявления болезней растений классы соответствуют болезням растений, и каждая метка идентифицирует одно из болезней растений. Изображения не нужно поворачивать, чтобы получить дополнительные изображения для учебного набора, когда для якорных рамок используются симметричные соотношения сторон. Для выявления заражения болезнями кукурузы количество отмеченных областей может быть не менее 100 для каждой из болезней кукурузы.
В некоторых вариантах осуществления сервер 170 запрограммирован на соответствие учебного набора изображений якорным рамкам, как это требуется для построения SSD. Например, SSDBoxEncoder, доступный на платформе GitHub, может быть адаптирован также для ссылки на варианты оригинальных изображений для такого соответствия с пороговым значением pos_iou_threshold set равным 0.5 и neg_iou_threshold set равным 0.2. Сервер 170 запрограммирован на последующее построение цифровой модели для распознавания болезней кукурузы по якорным рамкам и обучающему набору, включая изображения с отмеченными областями или их вариантами, соответствующие метки классов, а также связанные с ними совпадения с якорными рамками. Например, функция model.fit_generator в библиотеке Keras может быть использована с lr_schedule, установленным в 0.001.
3.4. Реализация цифровой модели
В некоторых вариантах осуществления сервер 170 запрограммирован на получение нового изображения, например фотоснимка кукурузного растения, и применение цифровой модели к новому изображению. Сервер 170 запрограммирован на преобразование нового изображения в квадратное изображение, при необходимости. Вместо обрезки нового изображения, вызывающей потерю информации, сервер 170 может быть выполнен с возможностью проведения паддинга с целью создания обновленного изображения, где каждый край имеет длину, равную длинному краю нового изображения. Далее сервер 170 может быть выполнен с возможностью центрирования нового изображения в обновленном изображении и масштабирования результата для получения конечного входного изображения.
В некоторых вариантах осуществления сервер 170 запрограммирован с возможностью исполнения цифровой модели на конечном входном изображении. Например, функция decode_y, доступная на платформе GitHub, может быть использована для реализации исполнения, при этом confidence_thresh устанавливается в 0.8, a iou_threshold - в 0.5 для NMS.
На фиг.8 показан пример процесса применения NMS для уточнения первоначального результата классификации до конечного результата классификации. На рисунке 802 изображена часть кукурузного листа. Как обсуждалось выше, SSD может первоначально классифицировать область изображения по нескольким классам. В этом примере каждая из рамок, в том числе рамка 804 и рамка 808, очерчивает область изображения, которая была отнесена в один из классов, соответствующих болезням кукурузы. В частности, рамка 808 отнесена к набору рамок, которые покрывают пиксел 806 или окружающую область. Перед применением NMS те рамки, где соответствующие оценки уверенности ниже определенного порога, например confidence_thresh, могут быть отфильтрованы. В этом примере классификация рамки 804 связана с низкой доверительной вероятностью и, таким образом, может быть удалена. Затем через NMS выбирается рамка с наибольшей оценкой, затем удаляются все остальные рамки, которые пересекаются с этой рамкой со значением, превышающим определенный порог, например iou_thresh, и процесс продолжается до тех пор, пока рамка больше не будет отфильтрована. В данном примере осталась только рамка 808, и, таким образом, пиксел 806 будет классифицирован на основе рамки 808.
3.5. Примеры процессов
На фиг.9 показан пример метода, выполняемого сервером, который запрограммирован под конфигурирование и применение CNN для обнаружения болезней растений. На фиг.9 представлено раскрытие алгоритма, плана или схемы, которые могут быть использованы для реализации одной или нескольких компьютерных программ или других элементов программного обеспечения, которые при их выполнении приводят к функциональным уточнениям и техническим усовершенствованиям, описанным в настоящем документе. Кроме того, приведенные здесь блок-схемы описаны с той же степенью детализации, которую специалисты в данной области техники обычно используют для общения друг с другом по вопросам алгоритмов, планов или спецификаций, составляющих основу программного обеспечения, которое они планируют кодировать или реализовывать, используя накопленные ими навыки и знания.
В некоторых вариантах осуществления на шаге 902, сервер 170 запрограммирован или конфигурирован с возможностью получения набора фотоснимков растений, зараженных множеством болезней. В частности, на наборе фотоснимков изображены листья с множеством отмеченных областей с множественными соотношениями сторон. Каждая отмеченная область связана с меткой одного из множества заболеваний и показывает хотя бы одно повреждение, вызванное одним заболеванием. Набор фотоснимков включает конкретный фотоснимок, на котором изображен конкретный лист, имеющий отмеченную область с множественными повреждениями. Для любого такого конкретного фотоснимка общий размер множественных повреждений относительно размера конкретной отмеченной области должен быть больше первого предопределенного процентного значения. Кроме того, размер конкретной отмеченной области относительно размера конкретного листа должен быть больше второго предопределенного процентного значения. Например, на наборе фотоснимков должны быть видны пораженные листья кукурузы, при этом на одной из фотоснимков должен быть показан лист, содержащий скопление повреждений от одного из заболеваний кукурузы, где повреждения расположены близко друг к другу и занимают большую часть листа.
В некоторых вариантах осуществления на шаге 904, сервер 170 запрограммирован или конфигурирован для определения группы якорных рамок из множества отмеченных областей для каждого из ряда сверточных слоев SSD. Каждая группа якорных рамок обычно имеет отличающееся соотношение сторон, репрезентативное как минимум для подмножества отмеченных областей, которые могут соответствовать похожим симптомам одного заболевания. Для кукурузы соотношение сторон может достигать 7:1. Серия сверточных слоев имеет все более крупные рецептивные поля, поэтому сервер 170 может быть запрограммирован на назначение более крупных якорных рамок более глубоким сверточным слоям.
В некоторых вариантах осуществления на шаге 906, после определения группы якорных рамок сервер 170 может быть запрограммирован на последующее связывание каждого из множества отмеченных областей с одной из групп якорных рамок. Сервер 170 может быть конфигурирован на совпадение отмеченной области с якорной рамкой в случае, когда процентное отношение площади пересечения отмеченной области и якорной рамки к площади их объединения больше определенного порога.
В некоторых вариантах осуществления на шаге 908 сервер 170 запрограммирован или конфигурирован на построение SSD, исходя из группы якорных рамок, набора фотоснимков с множеством отмеченных областей, присоединенным множеством меток болезней и присоединенным множеством отображений на якорные рамками. В учебных целях набор исходных фотоснимков может быть дополнен модификациями, полученными в результате обрезки, подбивки, изменения размера или выполнения другой операции по обработке изображений, выполненных на исходных снимках. Модификации связываются с эквивалентными отмеченными областями и соответствующими пометками, как на исходных снимках. Даже при выполнении этих операций по обработке изображений соотношения сторон отмеченных областей сохраняются и связываются теми же привязками к якорным рамкам, что и на исходных фотоснимках.
В некоторых вариантах осуществления на шаге 910 сервер 170 запрограммирован или конфигурирован для получения нового изображения от клиентского устройства. Новым изображением может быть фотоснимок растения, на котором изображены симптомы одного или нескольких заболеваний в одной или нескольких областях. На шаге 912 сервер 170 запрограммирован или конфигурирован для применения SSD к новому изображению для выявления симптомов одного или нескольких заболеваний в одной или нескольких областях нового изображения.
В некоторых вариантах осуществления на шаге 914 сервер 170 запрограммирован или конфигурирован для передачи данных, связанных с одним или несколькими заболеваниями или с одной или несколькими областями, на клиентское устройство. Данные могут идентифицировать каждую из одной или нескольких областей и одной или нескольких классификаций области. Данные могут также включать доверительную оценку каждой из одной или нескольких классификаций по одной из болезней растений.
4. Расширения и альтернативы
В приведенной выше спецификации варианты осуществления изобретения описаны со ссылкой на многочисленные специфические детали, которые могут варьироваться от реализации к реализации. Соответственно, описание и чертежи должны рассматриваться в иллюстративном, а не ограничительном смысле. Единственным и исключительным показателем объема изобретения и того, что заявители считают объемом изобретения, является буквальный и эквивалентный объем формулы изобретения, которая вытекает из данной заявки в конкретной форме, в которой такая формула предоставляется, включая любые последующие исправления.
| название | год | авторы | номер документа |
|---|---|---|---|
| ОБНАРУЖЕНИЕ БОЛЕЗНЕЙ РАСТЕНИЙ С ПОМОЩЬЮ МНОГОСТАДИЙНОГО, МНОГОМАСШТАБНОГО ГЛУБОКОГО ОБУЧЕНИЯ | 2019 |
|
RU2820495C2 |
| СПОСОБ ДЛЯ РАЗМЕЩЕНИЯ РАБОЧИХ НАГРУЗОК В ПРОГРАММНО-ОПРЕДЕЛЯЕМОЙ АВТОМАТИЗИРОВАННОЙ СИСТЕМЕ | 2016 |
|
RU2730534C2 |
| ГЕНЕРАЦИЯ СОБЫТИЙ С ИСПОЛЬЗОВАНИЕМ КОНТЕКСТНОЙ ИНФОРМАЦИИ НА ИНТЕЛЛЕКТУАЛЬНОМ ПРОГРАММИРУЕМОМ ЛОГИЧЕСКОМ КОНТРОЛЛЕРЕ | 2015 |
|
RU2683415C1 |
| ПРОГРАММНО-ОПРЕДЕЛЯЕМАЯ АВТОМАТИЗИРОВАННАЯ СИСТЕМА И АРХИТЕКТУРА | 2016 |
|
RU2729885C2 |
| ОПЕРАТИВНОЕ РЕГУЛИРОВАНИЕ ПРОИЗВОДИТЕЛЬНОСТИ ТВЕРДОТЕЛЬНЫХ ЗАПОМИНАЮЩИХ УСТРОЙСТВ | 2014 |
|
RU2624563C2 |
| ЦЕНТРАЛИЗОВАННОЕ УПРАВЛЕНИЕ ПРОГРАММНО-ОПРЕДЕЛЯЕМОЙ АВТОМАТИЗИРОВАННОЙ СИСТЕМОЙ | 2016 |
|
RU2747966C2 |
| ПРОГРАММИРОВАНИЕ АВТОМАТИЗАЦИИ В 3D ГРАФИЧЕСКОМ РЕДАКТОРЕ С ТЕСНО СВЯЗАННОЙ ЛОГИКОЙ И ФИЗИЧЕСКИМ МОДЕЛИРОВАНИЕМ | 2014 |
|
RU2678356C2 |
| МЕТОДИКА ДИСТАНЦИОННОЙ РЕКОГНОСЦИРОВОЧНОЙ ДИАГНОСТИКИ ОБЕСПЕЧЕНИЯ РАСТЕНИЙ АЗОТОМ (С ПОМОЩЬЮ МУЛЬТИСПЕКТРАЛЬНОЙ КАМЕРЫ И БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ) | 2018 |
|
RU2693255C1 |
| АВТОМАТИЗИРОВАННАЯ СИСТЕМА ИДЕНТИФИКАЦИИ ПУЛА КРОВИ И СПОСОБ УПРАВЛЕНИЯ УКАЗАННОЙ СИСТЕМОЙ | 2016 |
|
RU2716430C2 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ОПЕРАЦИОННЫМИ ПОЛЕВЫМИ УСТРОЙСТВАМИ ЧЕРЕЗ ПОРТАТИВНЫЙ КОММУНИКАТОР | 2009 |
|
RU2530256C2 |
Изобретение относится к способу, системе и машиночитаемому носителю долговременного хранения для распознавания болезней растений по данным изображения с помощью сверточной нейронной сети. Технический результат заключается в повышении точности распознавания изображений. В способе осуществляют прием процессором набора фотоснимков растений, зараженных множеством болезней, причем в наборе фотоснимков показаны листья с множеством отмеченных областей, имеющих несколько соотношений сторон, причем каждая отмеченная область ассоциирована с меткой болезни из множества болезней и показывает по меньшей мере одно повреждение, вызванное болезнью, на конкретном фотоснимке из набора фотоснимков показан конкретный лист, имеющий конкретную отмеченную область с множественными повреждениями, общий размер множественных повреждений превышает предопределенный процент от размера конкретной отмеченной области; определение процессором группы якорных рамок по множеству отмеченных областей для каждого из ряда сверточных слоев одностадийного многорамочного детектора (a single shot multibox detector, SSD), причем: SSD выполнен с возможностью приема изображения и присваивания каждой из одной или нескольких областей изображения по меньшей мере одного класса из множества классов, соответствующих множеству заболеваний, группа якорных рамок имеет отличающиеся соотношения сторон и соответствует разным признакам множества классов; причем определение группы якорных рамок дополнительно включает: разделение, комбинирование или удаление одного или нескольких из множества отмеченных областей для создания нового набора отмеченных областей в соответствии с ограничением на размер отмеченной области, на соотношение размера кластера повреждений в пределах отмеченной области и листа или на плотность повреждений в пределах отмеченной области на основе предопределенного процентного значения, причем определение осуществляют дополнительно по новому набору отмеченных областей; причем способ дополнительно включает привязку каждой области из множества отмеченных областей к одной из групп якорных рамок; и обучение SSD с использованием группы якорных рамок, набора фотоснимков, имеющих множество отмеченных областей, соответствующее множество меток и соответствующее множество привязок. 3 н. и 10 з.п. ф-лы, 10 ил.
1. Компьютеризованный способ распознавания болезней растений по данным изображения с помощью сверточной нейронной сети, включающий:
прием процессором набора фотоснимков растений, зараженных множеством болезней, причем:
в наборе фотоснимков показаны листья с множеством отмеченных областей, имеющих несколько соотношений сторон, причем каждая отмеченная область ассоциирована с меткой болезни из множества болезней и показывает по меньшей мере одно повреждение, вызванное болезнью,
на конкретном фотоснимке из набора фотоснимков показан конкретный лист, имеющий конкретную отмеченную область с множественными повреждениями,
общий размер множественных повреждений превышает предопределенный процент от размера конкретной отмеченной области;
определение процессором группы якорных рамок по множеству отмеченных областей для каждого из ряда сверточных слоев одностадийного многорамочного детектора (a single shot multibox detector, SSD), причем:
SSD выполнен с возможностью приема изображения и присваивания каждой из одной или нескольких областей изображения по меньшей мере одного класса из множества классов, соответствующих множеству заболеваний,
группа якорных рамок имеет отличающиеся соотношения сторон и соответствует разным признакам множества классов;
причем определение группы якорных рамок дополнительно включает:
разделение, комбинирование или удаление одного или нескольких из множества отмеченных областей для создания нового набора отмеченных областей в соответствии с ограничением на размер отмеченной области, на соотношение размера кластера повреждений в пределах отмеченной области и листа или на плотность повреждений в пределах отмеченной области на основе предопределенного процентного значения,
причем определение осуществляют дополнительно по новому набору отмеченных областей;
причем способ дополнительно включает привязку каждой области из множества отмеченных областей к одной из групп якорных рамок;
и
обучение SSD с использованием группы якорных рамок, набора фотоснимков, имеющих множество отмеченных областей, соответствующее множество меток и соответствующее множество привязок.
2. Компьютеризованный способ по п. 1, причем определение включает снятие отметки первой отмеченной области из множества отмеченных областей, которая имеет наименьший размер или размер, сопоставимый со второй отмеченной областью из множества отмеченных областей.
3. Компьютеризованный способ по п. 1, причем определение включает:
объединение множества помеченных областей в составные кластеры;
вычисление составной области для кластера из составных кластеров;
задание якорной рамки из группы якорных рамок, основанных на кластере.
4. Компьютеризованный способ по п. 1, причем определение включает:
идентификацию каждой рамки из групп якорных рамок по единице длины, соотношению сторон и коэффициенту масштабирования;
присвоение группе якорных рамок большего коэффициента масштабирования для сверточного слоя, расположенного далее в серии сверточных слоев.
5. Компьютеризованный способ по п. 4, причем
растения представляют собой кукурузу,
соотношение сторон равно 1,0/7,0, 1,0/5,0, 1,0/3,0, 0,5, 1,0, 2,0, 3,0, 5,0 или 7,0.
6. Компьютеризованный способ по п. 1, причем привязка включает сопоставление отмеченной области с якорной рамкой, когда процентное значение размера пересечения помеченной области с якорной рамкой деленное на их объединение больше определенного порогового значения.
7. Компьютеризованный способ по п. 1, причем прием нового изображения включает паддинг нового изображения в квадратную форму с последующим масштабированием нового изображения в квадратной форме.
8. Компьютеризованный способ по п. 1, причем применение SSD включает выполнение немаксимального подавления (NMS) для выбора одного из множества классов, когда определенная область из одного или нескольких областей нового изображения приписывается нескольким классам из множества классов.
9. Компьютеризованный способ по п. 1, причем применение SSD включает присвоение одной или нескольким областям нового изображения одного или нескольких классов из множества классов, соответствующих одному или нескольким заболеваниям.
10. Компьютеризованный способ по п. 1, причем SSD включает фиксированное количество фильтров фиксированного размера для каждой группы якорных рамок, которые должны быть применены к картам признаков, составленным каждым слоем из ряда сверточных слоев.
11. Компьютеризованный способ по п. 1, включающий прием нового изображения от клиентского устройства;
применение SSD к новому изображению для выявления симптомов одного или нескольких заболеваний в одной или нескольких областях нового изображения;
передачу данных, связанных с одним или несколькими заболеваниями или с одной или несколькими областями нового изображения, на клиентское устройство.
12. Машиночитаемый носитель долговременного хранения, на котором хранятся одна или несколько последовательностей инструкций, выполнение которых приводит к осуществлению одним или несколькими процессорами способа по одному из пп. 1-11.
13. Компьютерная система (400), включающая:
- оперативную память (406), хранящую одну или несколько инструкций;
- один или несколько процессоров (404), сконфигурированных для выполнения одной или нескольких инструкций, которые, при выполнении одним или несколькими процессорами, приводят к осуществлению способа по одному из пп. 1-11.
| ALVARO FUENTES и др., "A Robust Deep-Learning-Based Detector for Real-Time Tomato Plant Diseases and Pests Recognition", 04.09.2017, https://dx.doi.org/10.3390/s17092022, доступно по ссылке: https://www.mdpi.com/1424-8220/17/9/2022/pdf?version=1504687369 | |||
| LIU WEI и др., "SSD: Single Shot MultiBox Detector ", 17.09.2016, |
