СПОСОБ МОНИТОРИНГА СЕЛЬСКОХОЗЯЙСТВЕННЫХ УГОДИЙ Российский патент 2019 года по МПК G06T7/00 G06K9/00 

Настоящее изобретение относится к способам распознавания и подсчета объектов и направлено на использование в сельском хозяйстве для определения засоренности полей, распространения и развития заболеваний растений (проявляется в форме изменения цвета, некрозов, гнили, наростов, опухолей, отмирания тканей, язв на растении и т.д.), оценки наличия вредных и полезных насекомых (их стадий развития: яйцо, личинка, куколка, взрослая особь).

Из существующего уровня техники известно устройство для составления карты сорняков (Патент на изобретение RU 2370591, опубл. 20.10.2009 Бюл. №29), содержащее блок записи изображения с видеокамерой и лазерной камерой слежения за рельефом, блок обработки и оценки изображения, соединенный с ним блок хранения данных, а также базу данных сорняков. Блок записи изображения, блок определения местоположения и источник света находятся в соединении для обмена данными с блоком обработки и оценки изображения. Изобретение позволяет составлять карту сорняков, характеризующуюся высокой пространственной точностью. Кроме того, обеспечивается возможность достоверного расчета степени зараженности того или иного участка сорняками и выявления вида сорняков. Недостатком данного технического решения является невозможность классифицировать по способу питания (не паразиты, паразиты и комбинированные виды), а также и по продолжительности жизни (однолетние и многолетние) и предоставления способов борьбы с выявленными сорняками (химический, биологический или агротехнический). Также нет возможности соблюдения методики подсчета сорных растений на поле для определения их экономической вредоносности с дальнейшим выбором способов борьбы против них.

Из уровня техники известна система распознавания/классификации сорняков (US 5606821, 1997-03-04). Система распознавания и идентификации сорняков содержит датчик хлорофилла для обнаружения зеленой растительности и на карте для хранения изображений, которые содержат различные формы зеленой растительности. Данные карт, хранящиеся в памяти, обрабатываются для устранения фоновой информации и оставляют карту, содержащую только зеленую растительность. Расширенная карта дополнительно обрабатывается операцией сегментации в идентифицируемые регионы, и идентифицируемые области зеленой растительности обрабатываются для идентификации уникальных признаков для каждого из регионов. Уникальные признаки для каждого из регионов хранятся в базовой библиотеке баз данных и используются в качестве справочных данных для сравнения другой зеленой растительности с данными, хранящимися в базовой модели. Недостатком данной системы является то, что система распознает сорняки по сенсору хлорофилла, однако хлорофилл содержится также и в культурных растениях, что не позволяет системе быть достоверной, предоставив ошибочные данные в идентификации сорной растительности и культурного растения.

Известен патент «Методы, системы и устройства, относящиеся к идентификации объектов в режиме реального времени» (Патент США US 2017071188, 2017-03-16). Различные варианты осуществления, раскрытые в этом патенте, относятся к идентификации одного или нескольких конкретных объектов среди нескольких других объектов. Некоторые иллюстративные реализации относятся к системам, методам и устройствам для идентификации одного или нескольких конкретных видов растений среди нескольких разных растений, особенно для идентификации видов растений сорняков в реальном масштабе времени в реальных условиях, таких как поле для сельскохозяйственных культур. Другие варианты осуществления относятся к системам, методам или устройствам идентификации в сочетании с компонентами действия, такими как система распыления, для распыления растений сорняков, идентифицированных в реальном времени. В частном случае система идентификации объектов среды реального времени и реального мира содержит центральный компонент контроллера, содержащий процессор, систему видения, функционально связанную с центральным компонентом контроллера, и модуль сегментации, связанный с компонентом центрального контроллера. Система видения сконфигурирована для захвата, по меньшей мере, одного изображения целевой области, и, по меньшей мере, одно изображение содержит множество пикселей, содержащих данные высоты растений и спектральные данные. Модуль сегментации сконфигурирован для идентификации объектов в целевой области. Кроме того, модуль сегментации выполнен с возможностью сканирования данных высоты растений и спектральных данных для идентификации пикселей, захватывающих объекты по высоте и спектральной связностью. Недостатком данной системы является использования центрального контроллера, а также не раскрыта методика идентификации и подсчета объектов, имеющих экономическое значение для сельского хозяйства (насекомых, заболеваний растений и сорняков).

Известен удаленный метод идентификации насекомых-вредителей на основе изображений (Патент CN 103886096, 2014-06-25). Способ включает в себя следующие этапы, на которых мобильный интеллектуальный терминал используется для получения изображений, обработка изображения, идентификация насекомого на изображении, передача полученных изображений идентификации вредителей насекомых на сервер идентификации через мобильный интеллектуальный терминал, сравнение полученных данных распознанного насекомого с данными базы насекомых-вредителей. Мобильный интеллектуальный терминал отображает и выводит полученную информацию о вредителях насекомых. Недостатком данной системы является определения только насекомых вредителей и не дает возможности определения стадий развития насекомых (яйца, куколок, гусениц). Предоставленная информация не содержит отчетов и рекомендаций по способам борьбы с насекомыми-вредителями, основанными на определения численности и экономического порога вредоносности, соответственно и способов борьбы с ними.

Известен метод и система идентификации пойманных насекомых (JP 2014142833, 2014-08-07). Способ идентификации захваченного насекомого включает в себя этап считывания изображения клейкого листа устройства для захвата насекомых, которое захватило насекомых, этап получения края из считываемого изображения для получения области кандидата насекомых, этап удаления фоновой области, отличной от области кандидата насекомых, стадии извлечения области насекомых из области кандидата насекомых, стадии извлечения области тела, области ноги и задней области, чтобы получить данные морфологических признаков. Недостатком данной системы является только идентификация пойманных насекомых, а также их отдельных частей тела для идентификации.

Задачей, на решение которой направлено заявляемое изобретение, является разработка методик подсчета сорных растений, насекомых фитофагов и энтомофагов, заболеваний растений на поле, в хранилищах для определения их экономической вредоносности и далее выбора способов борьбы с ними: химической, биологической или агротехнической. Также задачей является составление фитосанитарных карт на основе оперативного обнаружения объектов, которые предоставляют экономическую опасность для сельского хозяйства региона, их идентификации и составление электронных карт заселения и миграции с последующим прогнозированием появления в тех или иных природно-климатических зонах.

Данная задача решается за счет того, что заявленный способ мониторинга сельскохозяйственных угодий, включает получение фотоснимка единицы площади угодий, передачу полученного фотоснимка на сервер, обработку фотоснимка с идентификацией объектов на нем, подсчет количества идентифицированных объектов на фотоснимке, определение степени зараженности всей площади угодий на основе данных подсчета объектов по фотоснимку, вывод результатов мониторинга, при этом фотоснимку присваивается дата и время проведения съемки и координаты местности, идентификация объектов на сервере проводится с помощью обучаемых искусственных нейронных сетей, сервер содержит базу данных насекомых во всех морфологических стадиях, базу данных сорных растений, базу данных видов заболеваний растений, базу данных рекомендуемых пестицидов против насекомых, заболеваний растений и сорняков, а мониторинг имеет систематический характер. В качестве объектов мониторинга могут выступать сорные растения, насекомые (включая все стадии развития: яйцо, личинка, куколка, взрослая особь), заболевания растений. Вывод результатов мониторинга предоставляется в виде отчетов и/или графиков и/или диаграмм. Данные об идентифицированных объектах, такие как количество объектов, время, дата и координаты местности фиксации объектов, переносятся на геологическую и/или сельскохозяйственную карты района.

Техническим результатом, обеспечиваемым приведенной совокупностью признаков, является ранняя диагностика определения насекомых, заболеваний растений и сорняков, что даст возможность для снижения количества применения пестицидов на полях, а также предоставить более правильный выбор действующих веществ пестицидов для предотвращения резистентности (устойчивости) к тем или иным классам пестицидам.

Для разработки и осуществления планомерных мероприятий по борьбе с сорной растительностью необходимо систематически проводить обследование, учет и подсчет засоренности полей севооборотов, а также других сельскохозяйственных угодий.

Засоренность полей изменяется под влиянием многих причин, в том числе агротехнических мероприятий. Поэтому обследование полей на засоренность необходимо проводить систематически. Эта работа выполняется два раза в год: в начале лета для учета наличия ранних сорняков и в конце лета - поздних, яровых, озимых зимующих, двухлетних и многолетних сорняков. В основе способа определения засоренности полей лежит соотношение количества сорных и культурных растений на единице площади сплошных рядковых посевов.

Для подсчета сорняков обычно пользуются рамочками разного размера (0,1; 0,25; 0,50; 1 м² и более), которые накладывают поверх растений. Количество прикладываний на площади до 50 га - 10 точек, от 50 до 100 га - 15, свыше 100 га - 20 точек. Внутри рамки подсчитывают общее количество сорняков и каждого вида в отдельности. В результате обследования, подсчета и учета дается оценка засоренности полей, в том числе, и по количеству растений на 1 м². Обследованные площади группируются по степени засоренности.

По результатам обследования уточняются видовой состав сорняков, площадь полей для обработки гербицидами или для борьбы против них другими методами. Данные учета засоренности могут оформляться в виде карт (картограмм) засоренности полей севооборотов хозяйства с подробным описанием характера и степени засоренности каждого поля в отдельности.

Для определения заболеваний культурных растений проводят идентификацию культурных растений с дальнейшим анализом изменений растений, таких как изменение цвета, наличия некрозов, гнили, наростов, опухолей, отмирания тканей, язв на растении и т.д.

На сегодняшний день также существует огромное количество насекомых вредителей открытого и закрытого грунтов. Различные разновидности насекомых способны уничтожить урожай сельскохозяйственных культур. Они поражают как молодые посадки, так и взрослые растения, деревья.

Чтобы предупредить массовое появление насекомых - вредителей или принять меры борьбы против них необходимо определить вид насекомого. Также немаловажным является определение стадии развития насекомого для того, чтобы меры борьбы с ним были приняты своевременно, без опоздания.

Количественная оценка вредных и полезных насекомых в биотопе сводится к выявлению абсолютной численности особей (на любой стадии ее развития) в определенном ограниченном пространстве или объеме.

Для подсчета и учета насекомых (фитофагов и энтомофагов) осуществляется осмотр обследуемых мест (хранилищ, складских помещений, посевов и других участков), при которых осматривают поверхность почвы, травостой данной культуры и отбирают пробы для анализа стеблей (главных, вторичных, боковых), бутонов, соцветий, цветов, плодовых органов (бобов, стручков, семян) на наличие в них следов жизнедеятельности насекомых (экскрементов, питания) или на наличие скрыто живущих видов насекомых. Кроме того, применяются специальные методы наблюдений с использованием пищевых приманок, ловушек с половыми аттрактантами, светоловушек, ловчих канавок и колодцев, кошения сачком и др., которые устанавливаются на обследуемых участках. Подсчет насекомых (а также их стадий развития: яйца, куколки, личинки и взрослой особи) осуществляется путем фото-фиксации (каждый день с указанием времени и даты снимка, местоположения) насекомых и их морфологических стадий, затем подсчитывается каждодневное количество насекомых и определяется их экономический порог вредоносности (численность популяции вредителей или степень повреждения растений, при котором наносимый ущерб достигает экономически ощутимого размера). На основании данных по завершению идентификации насекомых (по их наружному морфологическому строению и следов их жизнедеятельности: экскрементов, питания) и их численности строится график с указанием вида насекомого, его количества, времени фото-фиксации, местоположения снимка с выдачей рекомендаций по борьбе против них (насекомых). Если собранные насекомые не представляют возможности для проведения учета, тогда нужно разложить все виды насекомых таким образом (на бумагу, клейкую ленту, ровную светлую поверхность), чтобы их можно было идентифицировать с помощью фотографии.

Способ по идентификации насекомых, заболеваний растений и сорной растительности заключается в оперативной идентификации данных объектов с целью дальнейшего принятия решений об их распространении и мер борьбы против них.

Способ идентификации осуществляется следующим образом:

1. Получают снимок поверхности определенной площади, в зависимости от поставленной задачи.

2. Фотоснимок передается на сервер, персональный компьютер или аналогичное устройство.

3. На сервере с помощью программного обеспечения производится обработка фотографии, включая идентификацию объектов, их подсчет и учет.

4. Вывод информации о численности в виде отчетов, графиков, диаграмм, карт и иных видов.

Для осуществления данного способа используются следующие устройства и системы:

- устройство фиксации фотографии (мобильный телефон, планшетный компьютер, фотоаппарат и другие средства фото и видео фиксации);

- сервер;

- каналы связи (проводные и/или беспроводные);

- экран (монитор) для вывода информации;

- программное обеспечение для обработки фотографий;

- программное обеспечение для идентификации объектов на фотографии;

- программное обеспечение для построения графиков и отчетов;

- программное обеспечение для учета объектов;

- программное обеспечение для составления карт;

- программное обеспечение с базой данных насекомых (их морфологических стадий), сорных растений, видов заболеваний растений;

- программное обеспечение с базой данных, содержащей списки рекомендуемых пестицидов против насекомых, заболеваний растений и сорняков;

- база данных погодных условий для мониторинга благоприятных или не благоприятных условия для появления (не появления) насекомых, условий для возникновения заболеваний растений.

Фотоснимок производят известным способом с помощью фотоаппарата, смартфона, компактного персонального компьютера или иных аналогичных устройств с возможностью делать фотоснимки.

Для определения засоренности поля сорными растениями применяют фотоснимок 1 м² площади поля, для определения болезней растений применяют фотоснимок от 1 м² до 10 м² площади поля, а для определения численности насекомых применяют фотоснимок от 0,01 до 1 м² площади поля или с площади ловушек и приманок или с другой поверхности светлых оттенков.

Сделанная фотография, будь то снимок поля с сорными растениями, культурными растениями (для определения болезней растений) или поверхность с насекомыми, передается на сервер с помощью проводных или беспроводных каналов сети, например, wifi, GSM/GPRS, Bluetooth, AirDrop и прочие.

Фотографии присваивается дата снимка, а также координаты места, которое изображено на фотографии.

Идентификация объектов осуществляется с использованием нейронных сетей. Идентификация происходит путем сравнения полученного изображения объекта с данными из базы данных. Нейронная сеть выделяет границы изображения объекта, помещая его в квадрат фиксированного размера, обрабатывает данные объекта, которые находятся в каждом квадрате, и получает на выходе ответ. Ответом является распределение вероятностей по классам (видам насекомых, растений, заболеваний растений). Проходя такими квадратами по изображению, идентифицируются все объекты на нем.

Для осуществления способа мониторинга используется предварительно обученная нейронная сеть. Для этого заранее нейронной сети показываются базы данных изображений насекомых нужных видов, виды растений, виды заболеваний растений. Кроме того, нейронной сети также показываются изображения без насекомых и растений. Таким образом, нейронная сеть обучается отличать фоны и насекомых и растений разного вида. В итоге вначале нейронная сеть решает, видит ли она фон или насекомое или растение, а потом определяет, какое насекомое и растение она видит.

Далее мониторинг численности сорных растений, заболеваний культурных растений, или насекомых, осуществляется систематически для определения размножения сорных растений, распространения и увеличения насекомых, и развития болезней растений.

Степень засоренности сорными растениями всего поля определяется по количеству сорняков на 1 м² исходя из порога их экономической вредоносности: до 20; 20-50; более 50.

Степень заселения (учета) вредными насекомыми определяется исходя из порога их экономической вредоносности в зависимости от культуры и ее фенологической стадии от 0,01 до 1 м²: от 0,1 шт./м² до 30 шт./м² (на поверхности растения или почвы) или от 1 до 10 штук в ловушке.

Степень зараженности культурных растений болезнями определяется исходя из порога их экономической вредоносности 1 м² до 10 м²: от 0,2% до 20% площади растения.

Таким образом, данный способ позволяет определять:

- сорные растения по способу питания: не паразиты, паразиты и комбинированные, а также по продолжительности жизни: однолетние и многолетние;

- насекомых фитофагов и энтомофагов, в том числе их наружных морфологических частей и стадий развития: яйца, личинки, куколки и взрослой особи;

- заболевания растений, в том числе инфекционных и не инфекционных.

Определение биологической или агротехнической защиты против вредных объектов (насекомых, болезней растений и сорняков) на основе проведенного мониторинга согласно данному изобретению приведет к снижению химической нагрузки на окружающую среду в дальнейшем.

На основе способа обнаружения объектов (насекомых и их стадий развития: яиц, личинок, куколок или взрослых особей; заболеваний растений и сорняков) и их идентификации согласно алгоритму указанном в описании, составляется диаграмма, в которой указывается: место обнаружения объекта с координатами (широта, долгота и высота), время фиксации, количество зафиксированных объектов. Далее информация переносится на геологическую и сельскохозяйственную карту района, поля, в которой отображается информация, указанная в диаграмме. На основе полученных данных создается фитосанитарная карта заселения объектами и пути их миграции. Карта имеет редактируемый (данные могут обрабатываться ручным методом) и изменяемый формат (связано с миграцией насекомых и зависит от погодных условий).

Изобретение относится к способам распознавания и подсчета объектов. Технический результат заключается в ранней диагностике определения заболеваний. Способ мониторинга сельскохозяйственных угодий, включающий получение фотоснимка единицы площади угодий, передачу полученного фотоснимка на сервер, обработку фотоснимка с идентификацией объектов на нем и вывод результатов мониторинга, и осуществляют подсчет количества идентифицируемых объектов на каждом фотоснимке, определение степени зараженности всей площади угодий на основе подсчета объектов по полученным фотоснимкам, осуществляют идентификацию изображения объектов фотоснимков на сервере, используя обучаемые искусственные нейронные сети, с помощью которых выделяют границы изображения объекта в квадрате фиксированного размера полученного фотоснимка, сервер содержит базу данных насекомых во всех морфологических стадиях, базу данных сорных растений, базу данных видов заболеваний растений, указанные нейронные сети, используя базы данных изображений идентифицируемых объектов, обучается отличать фоны соответствующих фотоснимков разного вида и определять объекты на этих фотоснимках, в результате чего получают данные о месте обнаружения объекта, времени фиксации и количестве зафиксированных объектов. 5 з.п. ф-лы.

1. Способ мониторинга сельскохозяйственных угодий, включающий получение фотоснимка единицы площади угодий, передачу полученного фотоснимка на сервер, обработку фотоснимка с идентификацией объектов на нем и вывод результатов мониторинга, отличающийся тем, что осуществляют подсчет количества идентифицируемых объектов на каждом фотоснимке заданного размера, определение степени зараженности всей площади угодий на основе данных подсчета объектов по полученным фотоснимкам, при этом каждому фотоснимку присваивается дата и время проведения съемки с координатами местности, осуществляют идентификацию изображения объектов фотоснимков на сервере, используя обучаемые искусственные нейронные сети, с помощью которых выделяют границы изображения объекта в квадрате фиксированного размера полученного фотоснимка, сервер содержит базу данных насекомых во всех морфологических стадиях, базу данных сорных растений, базу данных видов заболеваний растений, указанные нейронные сети, используя базы данных изображений идентифицируемых объектов, обучаются отличать фоны соответствующих фотоснимков разного вида и определять объекты на этих фотоснимках, в результате чего получают данные о месте обнаружения объекта с координатами, времени фиксации и количестве зафиксированных объектов, при этом сервер выполнен с возможностью систематического мониторинга и вывода информации.

2. Способ по п. 1, отличающийся тем, что в качестве объектов мониторинга выступают сорные растения.

3. Способ по п. 1, отличающийся тем, что в качестве объектов мониторинга выступают насекомые.

4. Способ по п. 1, отличающийся тем, что в качестве объектов мониторинга выступают заболевания растений.

5. Способ по п. 1, отличающийся тем, что вывод результатов мониторинга предоставляется в виде отчетов и/или графиков и/или диаграмм.

6. Способ по п. 1, отличающийся тем, что данные об идентифицированных объектах, такие как количество объектов, время, дата и координаты места фиксации объектов, переносятся на геологическую и/или сельскохозяйственную карты района.