РАСПОЗНАВАНИЕ СОРНЯКОВ В ЕСТЕСТВЕННОЙ СРЕДЕ Российский патент 2020 года по МПК G06K9/00 G06T7/11 

Область изобретения

Изобретение относится, в общем, к идентификации сорняков и, прежде всего, к способу идентификации типа сорняка в естественной среде. Изобретение, кроме того, относится к идентификационной системе для идентификации типа сорняка в естественной среде и к компьютерному программному продукту.

Уровень техники

В настоящее время сельское хозяйство проходит очередной этап развития. После индустриализации многих сельскохозяйственных процессов и серии инициатив по автоматизации, продолжается внедрение в сельскохозяйственный процесс высокотехнологичных инструментов. Такое явление как Интернет вещей (IoT) также находит применение на сельскохозяйственных полях.

Поскольку фермеры в высшей степени заинтересованы в увеличении их урожаев, а также в сокращении своих затрат, большие усилия приложены к продвижению мероприятий по усовершенствованию эффективности сельского хозяйства. Значительное влияние на урожайность оказывает уменьшение воздействия таких факторов на полях, как вредители, болезни и сорняки. Соответственно, с целью борьбы с сорняками, фермеры используют гербициды, но такая обработка, в целом, включает в себя большие усилия и затраты. До сих пор, при внесении гербицидов, для идентификации сорняков фермеры должны полагаться на свои индивидуальные опыт и знания. Такими экспертными знаниями не может обладать весь сельскохозяйственный персонал, и поэтому высокую значимость имеет любая помощь в выборе способов борьбы с имеющимися сорняками. Кроме того, правильная идентификация сорняков и, таким образом, выбор надлежащих гербицидов в правильном объеме способствуют экономии ресурсов, а также, кроме того, защите окружающей среды.

С учетом вышеизложенного, присутствует потребность в технической помощи в деле идентификации сорняков на пахотном поле без использования ручного процесса сбора на поле отдельных листьев возможного сорняка и без попыток идентификации типа сорняка в подсобном помещении с помощью доступной литературы. Поэтому целью настоящей заявки является предоставление способа и системы идентификации сорняков в естественной среде среди возделываемой культуры.

Сущность изобретения

Эта потребность может быть удовлетворена способом идентификации типа сорняка в естественной среде, системой распознавания для идентификации типа сорняка в естественной среде и компьютерным программным продуктом согласно независимым пунктам формулы изобретения.

Согласно первому аспекту изобретения способ идентификации типа сорняка может быть предоставлен на основе цифрового изображения сорняка в естественной среде. Способ может включать в себя получение цифрового изображения, которое содержит данные, представляющие сорняк на ранней стадии развития в естественной среде среди возделываемой культуры. Кроме того, могут быть получены относящиеся к цифровому изображению метаданные.

Кроме того, способ может включать в себя оконтуривание областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели (система цветопередачи на основе красного, зеленого и синего цветов) в цифровом изображении с образованием, таким образом, по меньшей мере одной оконтуренной области, содержащей пиксели сорняка в граничном контуре, и выявление того, является ли сорняк односемядольным растением или двусеменодольным растением.

Кроме того, способ может включать в себя выявление стадии развития сорняка путем изоляции по меньшей мере одного отдельного листа сорняка путем выявления центрального соединения оконтуренной области и выявление числа листьев в оконтуренной области.

Другой признак способа может содержать выявление типа сорняка, идентифицируемого посредством наименования сорняка и вероятности точности выявления с использованием по меньшей мере одного значения из множества полученных метаданных и множества производных метаданных, выявленных во время оконтуривания, во время выявления, является ли сорняк односемядольным растением или двусеменодольным растением, и во время выявления стадии развития сорняков, в качестве входных параметров для набора классификаторов. Набор классификаторов может иметь доступ к системе хранения данных, содержащей наименования типов сорняков совместно с несколькими наборами метаданных для каждого типа сорняка.

Согласно другому аспекту настоящего изобретения может быть предоставлена идентификационная система для идентификации типа сорняка на основании цифрового изображения сорняка в естественной среде. Идентификационная система может содержать приемный модуль, выполненный для получения цифрового изображения, содержащего данные, представляющие сорняк на ранней стадии развития в естественной среде среди возделываемой культуры, и метаданные, относящиеся к цифровому изображению, модуль оконтуривания, выполненный к оконтуривания в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей пиксели сорняка в пределах границы, и первый классифицирующий модуль, выполненный для выявления того, является ли сорняк односемядольным растением или двусеменодольным растением.

Идентификационная система может, кроме того, содержать выявляющий модуль, выполненный для выявления стадии развития сорняка путем изоляции по меньшей мере одного отдельного листа сорняка путем выявления центрального соединения оконтуренной области и выявления числа листьев в оконтуренной области.

Кроме того, идентификационная система может содержать второй классифицирующий модуль, содержащий набор вторых классифицирующих модулей, выполненный для выявления типа сорняка, идентифицируемого посредством наименования сорняка и вероятности точности выявления, с использованием по меньшей мере одного из множества полученных метаданных и множества метаданных, выявленных посредством модуля оконтуривания, первого классифицирующего модуля и выявляющего модуля во время выявления стадии развития сорняка, в качестве входных параметров. Вторые классификаторы могут иметь доступ к системе хранения данных, содержащей наименования типов сорняков совместно с несколькими наборами метаданных для каждого типа сорняка.

Следует отметить, что идентификационная система может быть реализована в виде части частного вычислительного центра или общего вычислительного центра, такого как центр облачных вычислений. Цифровое изображение может быть захвачено на пахотном поле посредством цифрового фотоаппарата, и получено посредством идентификационной системы для последующей обработки. Устройством видеозахвата изображения или цифровым фотоаппаратом могут вручную оперировать фермер, консультант или любое другое лицо. Альтернативно, камера может быть смонтирована на летающем дроне, который имеет возможность автономного функционирования, или которым можно управлять дистанционным образом.

Кроме того, варианты осуществления могут быть реализованы в виде связанного компьютерного программного продукта, доступ к которому может быть получен посредством применимого на компьютере или считываемого компьютером носителя, предоставляющего программный код для использования посредством компьютера или любой другой системы выполнения команд, или в соединении с ними. В рамках настоящего описания, применимый на компьютере или считываемый компьютером носитель может быть представлен любым устройством, которое способно к содержанию средств для хранения, сообщения, распространения или передачи программы для использования посредством системы выполнения команд, аппаратуры или устройства, или в соединении с ними.

Предложенный способ распознавания типа сорняка в естественной среде предлагает несколько преимуществ и технических эффектов.

Автоматическое обнаружение типа сорняка и выявление правильного наименования сорняка имеют большое значение для фермеров в поле. Сорняки на возделываемом поле способны к изменению от сезона к сезону, в зависимости от погодных условий, и от одного года к другому. Кроме того, фенотипические проявления сорняков могут изменяться в зависимости от условий окружающей среды таким образом, что также и специалисты могут оказаться неспособными к надежной идентификации типа сорняка. Небольшие различия в проявлениях конкретного сорняка являются труднораспознаваемыми, прежде всего во время ранних стадий его развития. Возможность использования в этих целях камеры, например смартфона, изготовления снимка, выполнения предварительного анализа в смартфоне и/или передачи изображения в идентификационную систему, может оказаться для фермера весьма значительным преимуществом. Тем самым, ему предоставлена возможность незамедлительного решения относительно использования того или иного типа гербицида с целью борьбы с развивающимся среди его возделываемой культуры сорняком. Это также может способствовать внесению гербицида только в областях произрастания сорняка. С целью борьбы с сорняками только на участках сельскохозяйственного поля, может быть запрошена дополнительная информация по зонированию распределения сорняков на поле.

Задача видеозахвата изображения возможного сорняка также может быть выполнена необразованными фермерами, вспомогательным персоналом или временным штатом без какого-либо опыта в распознавании сорняков. Это помогает сэкономить ценные в сельскохозяйственном процессе время и деньги. Является возможным уменьшение графической информации цифрового изображения до практичного минимума. Благодаря использованию высокоэффективной, высокотехнологичной системы идентификации сорняков в виде набора классификаторов или системы нейронной сети, фермер может получить возможность более или менее мгновенного выявления наименования сорняка исключительно с помощью его смартфона. Использование метаданных в качестве входных значений для классификаторов, выявляющих наименование сорняка совместно с вероятностью для одного или нескольких типов сорняка, и передающих эту информацию обратно на осуществляющий видеозахват смартфон, предоставляет возможность сложного взаимодействия между фермером и системой обеспечения. Этим также обеспечено выявление наименования сорняка с высокой вероятностью, а также предоставление фермеру рекомендаций по его дальнейшим действиям. Кроме того, также обеспечена возможность реализации технологии классификаторов на высокопроизводительных многоядерных смартфонах или на выделенных системах для анализа сорняков.

Кроме того, полный процесс видеозахвата и получения изображения сорняка, а также передачи обратно наименования сорняка с оценкой вероятности, может быть выполнен в течение весьма краткого промежутка времени, например нескольких секунд. Не требуется применения в поле какого-либо специального оборудования, такого как специальные камеры, поскольку смартфоны в настоящее время имеют повсеместное распространение. За счет этого, затраты на процесс распознавания также могут быть сохранены сравнительно низкими по сравнению с традиционными технологиями, поскольку большое число простых смартфонов выполнено с возможностью использования идентификационной системы с помощью облачных вычислений.

Наконец, процесс идентификации сорняка, выполненный посредством весьма сложной идентификационной системы, может быть доступен также и неопытному фермеру, что позволяет ему бороться с сорняками и повышать урожайность его сельского хозяйства.

Кроме того, предложенный способ и система обеспечивают возможность идентификации, выявления и/или распознавания сорняка в естественной среде, а не только в оранжерее в искусственных условиях. Это может оказаться неоценимым преимуществом для работающих в поле фермеров, поскольку все результаты могут быть достигнуты незамедлительно и в реальных повседневных условиях труда. Распознавание сорняка в естественной среде показало себя как намного более трудная задача, чем распознавание в условиях оранжереи, поскольку число переменных в этом случае является значительно более высоким. В оранжерее может присутствовать постоянный световой поток и отсутствовать прямой солнечный свет или связанное с единственным источником света сильное затенение, отсутствуют какие-либо изменения зависимой от времени дня угловой направленности освещения, которые приводят к непредсказуемым изменениям отражений и проявлениям окраски, отсутствуют облака, туман или дымка, или также вариабельность почвенных условий, отсутствует вариабельность условий увлажнения, отсутствуют перемещения растений под действием ветра, отсутствуют вызываемые насекомыми повреждения листвы, причем указаны только некоторые из параметров, делающих распознавание в естественной среде несравнимо более затруднительным, чем распознавание сорняка в оранжерее. Таким образом, все вышеупомянутые обстоятельства варьируются в естественных условиях, что может представлять собой значительную разницу для известных технологий частичного распознавания изображения, которые, как правило, полагаются на оптимальные и искусственные условия окружающей среды.

В последующем изложении описаны дополнительные варианты осуществления предложенного способа идентификации типа сорняка в естественной среде. Следует отметить, что варианты осуществления могут быть осуществлены в виде способа или в виде связанной системы.

Согласно одному предпочтительному варианту осуществления способа предопределенная характеристика цвета может относиться к цветовому диапазону сорняка в естественной среде, содержащий полный видимый диапазон и, прежде всего, основной фокус в зеленом цветовом диапазоне с длиной волны, например, 490-575 нм. Это способствует уменьшению «шума в изображении» от фоновой информации, также захватываемой в качестве части цифрового изображения. Также и фон захваченного сорняка может содержать единичные зеленые пиксели или их небольшие группы, попадающие в этот диапазон длины волны. Оконтуривание способствует устранению таких фоновых информационных зеленых участков. Допустимый диапазон длины волны (например, 490-575 нм) может быть сохранен в таблице, в базе данных или в другом подходящем формате данных.

Характеристики структуры могут относиться к прожилкам листа, к характерным формам листовых сегментов, к специфическим рисункам и к распределению окраски, к микроволоскам на верхней поверхности листа и по краю листа. Все эти, а также дополнительные характерные структуры не могут быть параметризованы явным образом, но принадлежат к «изученному» контексту обучаемой корреляционной функции (функций) классификатора.

Согласно дополнительному предпочтительному варианту осуществления способа оконтуривание областей с предопределенной характеристикой цвета и структуры может быть выполнено путем выявления для каждого комбинированного цвета цифрового изображения возможности согласования комбинации его цветовых компонентов с одной из нескольких предопределенных цветовых комбинаций. Как правило, датчики изображения функционируют с помощью известной RGB-цветовой модели (красный, зеленый, синий) с использованием трех субпикселей для каждого полного пикселя, причем один субпиксель используют для одного из трех основных цветов: красного, зеленого и синего. Таким образом, заданные границы цветового пространства с предопределенной цветовой информацией и распределением интенсивности в RGB-модели информации по пикселям подцветов могут быть сохранены в качестве справочных данных. За счет этого может быть выполнено быстрое сравнение каждого пикселя цифрового изображения и сохраненной справочной информации по цветам, что обеспечивает выбор или отклонение пикселя захваченного цифрового изображения в качестве части подлежащей оконтуриванию области.

Согласно одному предпочтительному варианту осуществления способа оконтуривание областей с предопределенной характеристикой цвета может быть дополнительно выполнено посредством выявления:

1. wi=F (pi, pi, j), где (уравнение 1)

wi=1 или 0 указывает на то, что пиксель i принадлежит или не принадлежит сорняку. Это может быть выполнено в дополнение к более прямому сравнению с допущенной цветовой информацией для отдельного пикселя. F может быть функцией, вычисляющей вероятность для сорняка, или соответственно, не сорняка, на основе цветовых атрибутов pi и всех pj, pi = пиксель i, a pi, j = пиксели j, которые окружают пиксель i. Число рассматриваемых в качестве окружающих пиксель i пикселей может быть различным. Например, могут быть использованы окружающие пиксели, образующие только одно кольцо; это могут быть 8 пикселей pi, j. Кроме того, также может быть рассмотрено следующее кольцо пикселей pi, j, которое окружает первое кольцо; это второе кольцо может дополнительное содержать 16 пикселей pi, j. Могут быть рассмотрены дополнительные пиксельные кольца, причем различные кольца подлежат умножению на весовые коэффициенты, которые тем меньше, чем более удалено пиксельное кольцо от пикселя i. Этим может быть обеспечено более полное выявление того, должен ли пиксель захваченного цифрового изображения считаться пикселем сорняка или нет.

Согласно одному факультативному варианту осуществления способа ранняя стадия развития может быть задана кодом от 10 до 39 по шкале ВВСН (шкала феноменологических стадий развития растений). Использование кода ВВСН (международно принятый код Biologische Bundesanstalt, Bundessortenamt und CHemische Industrie - Биологическое федеральное управление, Федеральное управление охраны сортов растений и Химическая промышленность - в Германии) может оказаться полезным в получении сравнимых результатов для ранней стадии развития сорняка. Как правило, сорняк на стадии развития согласно коду ВВСН ниже 10, например, при появлении первых листьев, может оказаться недоступным для распознавания даже экспертом. Сорняк с превышающим или равными 40 кодом ВВСН может оказаться слишком сильно проросшим для успешной борьбы с ним с помощью гербицидов. Однако также и сорняк с кодом ВВСН ниже 10 может быть распознан с малой вероятностью. Достижению этой цели может способствовать расширенный спектральный анализ цветовой информации оконтуренной области.

Согласно одному полезному варианту осуществления способа выявление того, является ли сорняк односемядольным растением или двусеменодольным растением, может включать в себя применение классификатора, который обучен различению между односемядольными и двусеменодольными сорняками, что обеспечивает получение двоичного значения идентификатора для выявления двудольных и однодольных растений. Классификаторы, подобные классификаторам нейронной сети, хорошо подходят для дифференциации между односемядольными и двусеменодольными типами сорняков, когда классификаторы хорошо обучены с помощью учебных изображений. Сорняки односемядольного или двусеменодольного типа имеют отличительные признаки, которые обеспечивают возможность надежной дифференциации между двумя типами сорняков. Значение идентификатора для выявления двудольных и однодольных растений может быть обработано как производные метаданные.

Согласно одному предпочтительному варианту осуществления способа производные метаданные могут содержать по меньшей мере одно значение, выбранное из группы, содержащей двоичное значение идентификатора для выявления двудольных и однодольных растений, выявленное число листьев, и выявленную стадию развития. Эти метаданные могут быть представлены метаданными, производными от полученного цифрового изображения. Они могут быть дифференцированы от полученных метаданных, хотя оба типа метаданных могут, в конечном итоге, быть использованы в качестве параметров для выявления типа сорняка.

Согласно другому предпочтительному варианту осуществления способа полученные метаданные могут содержать по меньшей мере одно из группы, содержащей значения данных системы глобального позиционирования (GPS) по местоположению видеозахвата цифрового изображения, прежде всего для идентификации страны или области, календарную дату, прежде всего для идентификации сезона и, возможно, соответствующих погодных данных, топографические данные, соответствующие значениям данных системы глобального позиционирования, прежде всего по идентификации высоты над уровнем моря и/или геологических данных, данные по ускорению устройства видеозахвата в момент видеозахвата цифрового изображения, угол наклона устройства видеозахвата во время захвата им цифрового изображения, и тип камеры, с помощью которой было захвачено цифровое изображение. Некоторые из этих метаданных могут быть получены совместно с цифровым изображением, например со смартфона, или, альтернативно, из одной или нескольких баз данных от сервера. Они могут также быть получены от другой вычислительной системы, например центра облачных вычислений, поставляющего погодные данные или топологические данные, основанные на данных GPS и данных по дате/времени.

Согласно дополнительному предпочтительному варианту осуществления способа каждое значение метаданных, полученных и/или производных, может иметь предопределенное весовое значение, которое также может быть использовано в качестве входного параметра для набора классификаторов. Эти параметры могут быть использованы для точной настройки предложенного способа и системы. Параметры могут быть изучены путем автоматического сравнения данных в течение различных сезонов, или они могут быть заданы вручную на основе опыта фермеров и менеджеров в работе с системой.

Согласно другому предпочтительному варианту осуществления способа выявление типа сорняка, идентифицируемого по его наименованию сорняка, может также содержать сравнение выявленного наименования сорняка с вероятностной диаграммой сорняка, которая предоставляет отображение вероятности появлений сорняков для географических местоположений и сезонных данных, и перерасчет вероятности точности выявления на основе сравнения выявленного наименования сорняка с вероятностной диаграммой сорняка. Такое дополнительное приспосабливание может способствовать еще более точному выявлению типа сорняка. Оно может, например, способствовать исключению неправильно идентифицированного типа сорняка, поскольку вероятность выявления такого типа сорняка в данное время года (сезон) и/или в данной географической области может оказаться относительно малой.

Следует также упомянуть, что в процесс выявления может быть включено другое значение метаданных, такое как тип сорняка, произрастающего в настоящий сезон и в предшествующие сезоны, включая сюда связанные типы сорняков, обнаруженные во время этих более ранних сезонов на настоящем поле или на других полях, в тех же или подобных регионах произрастания возделываемой культуры. Этот тип дополнительной информации также может быть подкреплен посредством вероятностной диаграммы.

Кроме того, способ может включать в себя передачу идентифицированных наименований сорняков и связанных с ними вероятностей точности выявления для наименований сорняков, которые имеют три самых высоких значения вероятности. Беспроводная передача, в случае, когда человек, оперирует цифровым фотоаппаратом для видеозахвата цифрового изображения, может быть направлена оператору камеры, а более точно - на смартфон оператора. Когда, в другом случае, цифровой фотоаппарат смонтирован на автоматическом транспортном средстве, таком как дрон или автоматический полевой робот на колесном шасси, наименования и вероятности, включая сюда координаты GPS места обнаружения сорняка, могут быть переданы на смартфон фермера или на другое мобильное устройство фермера с помощью беспроводных технологий. В этом случае специальное приложение выполнено с возможностью представления местоположения обнаруженного сорняка на географической карте фермы.

Кроме того, варианты осуществления могут иметь вид связанного компьютерного программного продукта, доступ к которому может быть получен посредством применимого на компьютере или считываемого компьютером носителя, предоставляющего программный код для использования посредством компьютера или любой другой системы выполнения команд, такой как смартфон, или в соединении с ними. В рамках настоящего описания, применимый на компьютере или считываемый компьютером носитель может быть представлен любым устройством, которое способно к содержанию средств для хранения, сообщения, распространения или передачи программы для использования посредством системы выполнения команд, аппаратуры или устройства, или в соединении с ними.

Краткое описание нескольких видов в составе чертежей

Следует отметить, что аспекты изобретения описаны с отсылками на различные предметы рассмотрения. Прежде всего, некоторые варианты осуществления описаны с отсылками на пункты формулы изобретения относительно способа, тогда как другие варианты осуществления описаны с отсылками на пункты формулы изобретения относительно устройства. Однако для квалифицированного в области техники специалиста, по вышеприведенному и последующему описанию понятно, что, если иное не указано, в дополнение к любой комбинации признаков, принадлежащих одному предмету рассмотрения, также и любая комбинация признаков, относящихся к другим предметам рассмотрения, прежде всего, признаков в пунктах формулы изобретения относительно способа и признаков в пунктах формулы изобретения относительно устройства, считается раскрытой в рамках этого документа.

Приведенные выше аспекты, равно как и другие аспекты настоящего изобретения раскрыты в примерах вариантов осуществления, описанных в дальнейшем изложении. Они объяснены с отсылками на примеры вариантов осуществления, которыми, однако, изобретение не ограничено.

Предпочтительные варианты изобретения описаны исключительно в качестве примера, и с отсылками на следующие чертежи:

Фиг. 1 показывает блок-схему варианта осуществления способа согласно изобретению распознавания типа сорняка в естественной среде.

Фиг. 2 показывает блок-схему варианта осуществления видеозахвата цифрового изображения двусеменодольного растения.

Фиг. 3 показывает блок-схему варианта осуществления видеозахвата цифрового изображения односемядольного растения.

Фиг. 4 показывает вариант осуществления этапов процесса оконтуривания области.

Фиг. 5А, Б показывают концепцию включения в рамки процесса оконтуривания других колец пикселей.

Фиг. 6 показывает вариант осуществления изображения сорняка с четырьмя листьями и центральным соединением.

Фиг. 7 показывает блок-схему варианта осуществления системы идентификации сорняков.

Фиг. 8 показывает вариант осуществления вычислительной системы, содержащей идентификационную систему.

Подробное описание

В контексте настоящего описания могут быть использованы следующие соглашения, условия и/или выражения.

Термин «идентификация», прежде всего «идентификация типа сорняка» или «распознавание типа сорняка» или также «выявление» может обозначать автоматизированное, основанное на использовании машины, выявление или процесс распознавания для идентификации конкретного типа сорняка, начиная с получения цифрового изображения от цифрового фотоаппарата, продолжая предварительной обработкой цифрового изображения, производством метаданных в ходе обработки цифрового изображения, и их использованием, например, посредством основанных на нейронной сети классификаторов для вероятностного анализа данных изображения, и заканчивая идентификацией одного типа или нескольких типов сорняков.

Термин «сорняк» может обозначать нежелательное растение любой разновидности, которое наделено способностью быстрого приспосабливания почти к любой окружающей среде. В данном случае термин «сорняк» также может быть отнесен к растениям из числа возделываемых или культивируемых культур или коммерчески используемых растений, которые являются полезными в смысле сбора урожая произросших из семян плодов. Сорняк способен к нарушению процесса роста возделываемой культуры или к отрицательному воздействию на него, а также к уменьшению урожайности сельскохозяйственных полей.

Термин «естественная среда», в контексте таких растений, как возделываемая культура или сорняк, может обозначать то обстоятельство, что растения произрастают в поле или на земле, которая может быть подвергнута естественным погодным и природным условиям, таким как влажность, а также прямой или непрямой солнечный свет и другие погодные явления. Тем самым, естественная среда исключает искусственные окружающие среды, такие как оранжереи или другие неестественные окружающие среды для произрастания растений. Такие неестественные окружающие среды с управляемыми условиями наделены способностью к искусственному исключению многочисленных факторов влияния, которые делают процесс распознавания намного более затруднительным или, во многих случаях, и вовсе невозможным. Этот признак может оказаться предпочтительным в рамках предлагаемого способа и системы, поскольку дифференциация между возделываемой культурой и сорняком в искусственно управляемой окружающей среде существенно облегчена. В условиях строгого управления, распознавание конкретного типа сорняка может оказаться намного более легким, поскольку в конкретных и управляемых условиях, например оранжереи, большое количество типов сорняков может быть исключено уже предварительно.

Термин «ранняя стадия развития» может обозначать стадию роста растения, на которой растение, прежде всего сорняк, еще не выросло до взрослой стадии. Однако на весьма ранних стадиях развития распознавание может оказаться затруднительным. Было показано, что использование «кода ВВСН» может быть полезным при описании стадий развития растений, например сорняков. Сокращение ВВСН официально обозначает «Biologische Bundesanstalt, Bundessortenamt und CHemische Industrie» и описывает феноменологические стадии развития растений. Код имеет значения от 00 до 99. Код ВВСН 10-19 представляет различные ранние стадии развития листьев. Основная стадия 2 развития включает в себя коды 20-29 ВВСН и относится к периоду формирования боковых побегов/побегообразования. Основная 3 стадия развития (коды 30-39 ВВСН) охватывает собой выход в трубку/развитие побега (основного побега). Таким образом, сосредоточение на сорняке со значением кода ВВСН от 10 до 39 оказывается практичным при рассмотрении сорняка на ранней стадии развития.

Термин «оконтуривание» может обозначать процесс выявления контура конкретной области или поверхности, имеющей общие или подобные характеристики цвета и/или структуры, например, сорняка на цифровом изображении. Каждый лист растения, прежде всего сорняк, имеет естественные границы или внешний край или края листа. Процесс оконтуривания включает в себя захват, распознавание и/или выявление этих краев таким образом, что в связанную оконтуренную область могут входить все или почти все пиксели сорняка.

Термин «характеристики цвета и структуры» может обозначать цифровую информацию относительно пикселей в цифровом изображении согласно цветовой модели, например RGB-цветовой модели (красный, зеленый, синий). Однако также могут быть использованы и другие цветовые модели, такие как HSV (тон, насыщенность, значение), HSL (тон, насыщенность, светлота/яркость). В отрасли является хорошо известным, что большая часть информации цветовой модели от одной цветовой модели может быть преобразована к другой цветовой модели посредством математической матричной операции. Различные цветовые модели могут иметь различные преимущества, такие как, например, наилучшее представление естественных цветов, наилучшее соответствие для цифровой обработки, оптимальная приспособленность для обработки шкалы яркости, наилучшее соответствие для распознавания края и, таким образом, для оконтуривания и так далее.

Термин «RGB-цветовая модель» может обозначать известную аддитивную цветовую модель, в которой красный, зеленый, и синий цвета добавляют друг к другу различными способами для воспроизведения широкого цветового спектра. Название модели происходит от начальных букв трех аддитивных первичных цветов: красного, зеленого, и синего. Основное назначение RGB-цветовой модели состоит в отслеживании, представлении и отображении изображений в электронных системах, таких как телевизоры и компьютеры, хотя ее также используют и в обычной фотографии. До наступления электронной эры, RGB-цветовая модель уже имела под собой надежное теоретическое обоснование, основанное на восприятии цветов человеком. RGB является аппаратно зависимой цветовой моделью. Различные устройства выполнены с возможностью измерения или воспроизведения данного RGB-значения различным образом, поскольку цветовые элементы (такие как люминофоры или краски) и их ответ на отдельные уровни красного, синего, и зеленого варьируются от изготовителя к изготовителю, или, даже с течением времени в том же устройстве. Таким образом, RGB-значение может не отображать тот же цвет для различных устройств без соответствующего управления цветом и математических преобразований.

Термин «классификатор» или «корреляционная функция классификатора», и прежде всего, «обучаемая корреляционная функция классификатора» может обозначать одну или несколько математических функций, которые обеспечивают возможность измерения подобия признаков между одним или несколькими участками захваченного изображения и набором справочных данных по изображению, посредством которых классификаторы были обучены. Параметризация признаков корреляционной функции не может быть запрограммирована вручную, но может быть натренирована, то есть обучена, с использованием массивов данных с известным множеством входных признаков, а также с известным требуемым результатом. Специалисту известны различные типы подходов к корреляции.

Фактически, этот подход также может быть использован для характеристик структуры, а также для дифференциации односемядольного растения/двусеменодольного растения и/или типа выявления сорняка. Никакие параметры не могут быть заданы в явном виде, их автоматически получают в ходе тренировочных сессий для корреляционной функции (функций) классификатора.

Известны несколько типов классификаторов, которые могут быть использованы для концепции согласно изобретению. Абстрактно, классификатор, осуществляемый, например, в виде алгоритма, разносит на карте входные данные по предопределенным категориям. Классификаторы, как правило, используют при компьютерном обучении. Их тренируют с помощью заданного набора данных для обучения, которые генерируют известный результат, что представляет собой своего рода управляемое обучение. Одним из примеров классификатора является линейный классификатор, в котором предсказываемая категория является категорией с самым высоким рейтингом. Этот тип рейтинговой функции известен как функция линейного предиктора, и имеет следующий общий вид:

Рейтинг (Xi, k)=βk*Xi,

где Xi является характеристическим вектором, например i, a βk является вектором весовых коэффициентов, соответствующим категории k, причем рейтинг (Xi, k) является рейтингом, связанным с присвоением реализации i категории k. Характеристический вектор может быть двоичным, категорийным, порядковым, целочисленным или действительнозначным. Классификаторы также могут функционировать в качестве двоичных или множественных классификаторов.

Другой тип классификатора является биотехнологическим нейросетевым классификатором, функционирующим с помощью моделируемых нейронов, которые получают набор входных значений, а также синаптических элементов, которые образуют линию связи между выходом одного нейрона и входом другого нейрона. Набор признаков растений извлекают из аннотируемых вручную изображений (учебных изображений), и используют его для обучения нейронной сети (контролируемого обучения). После обучения тот же набор признаков извлекают для каждого нового изображения (испытательного изображения), и нейронная сеть использует эти признаки для классификации растения по изображению.

Термин «вероятностной диаграмма сорняка» может обозначать GPS карту, обозначающую вероятности для нахождения сорняка в географическом положении, выявленном посредством GPS координат на земной поверхности, и соответствующих значений высот в комбинации с сезонными данными, а также с историческими данными относительно времен и интенсивностей обнаружений конкретного сорняка в рассматриваемом местоположении. Таким образом, проще говоря, вероятностная диаграмма сорняка может способствовать ответу на вопрос: насколько вероятным является нахождение конкретного типа сорняка в данном местоположении в заданное время года?

В последующем изложении приведено подробное описание чертежей. Все команды на чертежах являются схематичными. Во-первых, приведена блок-схема варианта осуществления способа согласно изобретению идентификации типа сорняка в естественной среде. Кроме того, описаны другие варианты осуществления, а также варианты осуществления идентификационной системы для распознавания типа сорняка в естественной среде.

Фиг. 1 показывает блок-схему варианта осуществления способа 100 идентификации типа сорняка на основании захваченного в естественной среде цифрового изображения. Способ включает в себя получение 102 цифрового изображения. Цифровое изображение может быть захвачено оператором цифрового фотоаппарата, например фермером в поле, или камерой на автономном транспортном средстве. Фермер может использовать цифровой фотоаппарат смартфона для захвата цифрового изображения и передачи его в идентификационную систему. Цифровое изображение, которое получено идентификационной системой, например посредством смартфона, может содержать данные, представляющие сорняк на ранней стадии развития в естественной среде среди возделываемой культуры, а также относящиеся к цифровому изображению метаданные. Метаданные могут содержать данные GPS по местоположению цифрового изображения, то есть сорняка, совместно со значением высоты над нулевой отметкой и т.д. для местоположения захвата цифрового изображения.

Кроме того, способ включает в себя оконтуривание 104 в цифровом изображении области с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей пиксели сорняка в граничном контуре, прежде всего граничной линии. Там может быть представлено по меньшей мере одно сорное растение или, возможно, большее их число. Другими словами, обнаружению подвергают зеленые области растения, цвет которых отличается от фонового, например почвы поля. Кроме того, способ может включать в себя выявление 106 того, является ли сорняк односемядольным растением или двусеменодольным растением. Эти два вида сорняков могут быть идентифицированы относительно легко, поскольку число эмбриональных листьев или семядоль может быть выявлено с помощью обучаемого классификатора. Альтернативно, оператор камеры может вводить входные данные относительно того, является ли сорняк цифрового изображения односемядольным растением или двусеменодольным растением. Даже нетренированные фермеры или операторы могут дифференцировать эти два типа растений.

Кроме того, способ может включать в себя выявление 108 стадии развития сорняка путем изоляции 110 по меньшей мере одного листа сорняка путем выявления центрального соединения оконтуренной области и выявление 112 числа листьев в оконтуренной области. Это может быть выполнено с помощью функции обработки изображения, взятой из усовершенствованной библиотеки обработки цифрового изображения, такой как, например, библиотека Halcon от компании под названием MVTec. Термин «изоляция» может обозначать процесс дифференциации пикселей, относящихся к сорняку, от пикселей фона цифрового изображения. За счет этого, этот процесс может быть представлен логической изоляцией таким образом, что сорняк может быть обработан как один логический объект структуры данных цифрового изображения.

Фактическая сегментация на отдельные листья может быть выполнена следующим образом: цифровое изображение преобразуют из RGB-цветового пространства в цветовое пространство HSV (тон, насыщенность, значение) и сегментируют с использованием пороговой обработки, что дает в итоге двоичную сегментацию. С целью получения отдельных листьев, вначале применяют преобразование расстояний в области переднего плана двоичной сегментации. После этого, местные максимумы карты расстояний используют в качестве начальных чисел для последующей сегментации по водоразделам, которая отделяет отдельные листья друг от друга.

Последующим этапом способа является выявление 114 типа сорняка, идентифицируемого посредством наименования сорняка и вероятности точности выявления с использованием по меньшей мере одного из множества полученных метаданных, а также производных по меньшей мере по одному из множества характеристических и/или производных метаданных, выявленных во время оконтуривания при выявлении того, является ли сорняк односемядольным растением или двусеменодольным растением, а также во время выявления стадии развития сорняков. Эти метаданные используют в качестве входных параметров для набора классификаторов. По меньшей мере один классификатор набора может иметь доступ к системе хранения данных, то есть к базе данных, содержащей наименования типов сорняков, числом, например, несколько сотен, совместно с несколькими наборами метаданных для каждого типа сорняка.

Классификаторы могут представлять собой подборку из классификаторов нейронной сети, линейных классификаторов и/или объектно-ориентированных идентификаторов. Кроме того, в ходе идентификационного процесса могут быть использованы библиотечные или исторические данные, такие как исторические идентификационные данные по сорняку из более ранних сезонов в то же или сопоставимое время, конкретные погодные условия, такие как фактические и/или исторические погодные условия, и т.д.

Наконец, что не менее важно, способ может включать в себя передачу (не показана) результатов выявления, например трех самых вероятных результатов со связанной вероятностью выявления, например, обратно на смартфон, от которого было получено цифровое изображение.

Фиг. 2 показывает растение, прежде всего сорняк, и устройство 202 видеозахвата изображения. Оно может быть представлено камерой смартфона (не показано). Камера 202 может иметь объектив и конкретный апертурный угол 204. Захваченное цифровое изображение может охватывать лист (листья) 204 сорняка, в данном случае двусеменодольного растения. Стебель 208 может, например, быть покрыт одним или несколькими листьями 206. В поперечном сечении также показаны поверхность 210 земли и корень 212 сорняка. В оптимальном случае плоскость изображения камеры 202 является абсолютно параллельной продольной протяженности листьев 206, то есть перпендикулярной поверхности земли. Однако небольшие отклонения, обозначенные углом а, могут быть приемлемыми.

Следует также отметить, что цифровое изображение, может захватывать не только более одного листа сорняка, но также и более одного растения возможного сорняка. Однако, в идеальном случае для облегчения процесса распознавания, каждое захваченное изображение имеет только одно сорное растение или его лист. Захваченное цифровое изображение сорняка может быть передано, например, с помощью беспроводной технологии, от камеры 202 в информационный центр, содержащий идентификационную систему для идентификации сорняка в естественной среде. В одном варианте осуществления камера 202 может быть представлена компонентом смартфона. В другом варианте осуществления камера как таковая может быть оборудована беспроводным передающим и/или принимающим оборудованием. Камера также может быть смонтирована на дроне или на подвижном наземном роботе в поле.

Фиг. 3 показывает сопоставимый сценарий для односемядольного растения 302, например для травы. Видеозахват цифрового изображения сверху от односемядольного растения 302 может не предоставить информации, достаточной для классификации и выявления типа сорняка. Поэтому односемядольное растение 302 может быть сфотографировано в цифровой форме сбоку от растения, или сорняк может быть извлечен из почвы и уложен на почве. В этом случае видеозахват сорняка может быть выполнен подобным показанному на фиг. 2 образом. В противном случае, когда корни односемядольного растения находятся все еще в почве, оптическая плоскость 203 видеозахвата цифрового фотоаппарата 202 должна быть перпендикулярной поверхности земли. Также и в данном случае обозначенные углом а малые отклонения являются приемлемыми.

Фиг. 4А, 4Б, 4В показывают процесс оконтуривания. Фиг. 4А показывает проекцию листа 402 сорняка на светочувствительной матрице 203 и/или на соответствующей пиксельной матрице. Каждые малый квадрат 403 представляет собой один пиксель. Специалисту понятно, что в данном случае в целях удобства объяснения использована весьма крупнозернистая матрица. Как правило, камера может иметь разрешение в несколько миллионов пикселей. Фиг. 4Б показывает результат оцифровки. Теперь, гладких краев листа 402 не стало, и оригинальная аналоговая форма преобразована в цифровую форму 404. На следующем этапе на фиг. 4В возможный контур листа может быть извлечен или изолирован от цифрового изображения. Все пиксели в пределах контура 406 могут быть рассмотрены как относящиеся к листу или сорняку.

Фиг. 5А показывает детали процесса выявления того, может ли конкретный пиксель принадлежать листу сорняка или нет. В самом простом случае в качестве критерия выявления используют значение цветовой характеристики отдельного пикселя pi 502. Связанный цветовой диапазон может содержать, например, длины волны 495-575 нм. Однако иногда такая простая дифференциация может оказаться недостаточной. Поэтому также принимают во внимание окружающие рассматриваемый пиксель 502 пиксели. Фиг. 5 показывает первое «кольцо» дополнительных пикселей, которые непосредственно окружают пиксель 502. Уравнение 1 может быть применено для использования также и относящейся к пикселю pi 502 информации.

Фиг. 5Б показывает, в дополнение к первому «кольцу» 504 из окружающих пиксель 502 пикселей, второе «кольцо» 506 из окружающих пикселей. Влияние или вес на исход решения относительно выявления пикселя 502 в качестве пикселя листа или нет, уменьшается тем более, чем более конкретный пиксель удален от рассматриваемого пикселя 502. Другие кольца пикселей pi, j могут быть использованы, причем они могут быть применены в качестве переменных функции F. Число используемых колец может быть функцией полного разрешения полученного изображения.

Фиг. 6 показывает цифровое изображение 602 для примера сорняка, который содержит четыре листа 604, 606, 608 и 610. На основании этого, с помощью классификатора или другого подходящего компонента библиотеки распознавания изображения, способ обеспечивает возможность выявления стадии развития сорняка путем изоляции или распознавания по меньшей мере одного отдельного листа сорняка. Для этого может быть выявлено центральное соединение 612 в качестве части оконтуренной области, которая содержит, например, четыре листа 604, 606, 608, и 610. С использованием того же классификатора или того же или другого подходящего компонента библиотеки распознавания изображения также может быть выявлено число листьев в оконтуренной области. Этим обеспечено выявление стадии развития сорняка согласно коду ВВСН. Результат может быть сохранен в виде производных метаданных.

Фиг. 7 показывает блок-схему варианта осуществления идентификационной системы 700 для идентификации типа сорняка на основании цифрового изображения в естественной среде. Идентификационная система содержит приемный модуль 702, служащий для получения цифрового изображения, содержащего данные, представляющие сорняк на ранней стадии развития в естественной среде среди возделываемой культуры. Кроме того, получают метаданные, относящиеся к цифровому изображению. Идентификационная система 700 также содержит модуль 704 оконтуривания, выполненный для оконтуривания в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей пиксели сорняка в пределах границы. Первый классифицирующий модуль 706 выполнен для выявления того, является ли сорняк односемядольным растением или двусеменодольным растением. Выявляющий стадии развития модуль 708 выполнен для выявления стадии развития сорняка путем изоляции, то есть распознавания по меньшей мере одного отдельного листа сорняка, путем выявления центрального соединения оконтуренной области и выявления числа листьев в оконтуренной области.

Набор вторых классифицирующих модулей 712 выполнен для выявления типа сорняка, идентифицируемого посредством наименования сорняка и вероятности точности его выявления с использованием по меньшей мере одного из множества полученных метаданных и множества метаданных, выявленных посредством модуля оконтуривания, посредством выявления первого классифицирующего модуля и выявляющего модуля, в качестве входных параметров, причем комплект вторых классифицирующих модулей имеет доступ к системе хранения данных, содержащей наименования типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка.

Суммирующий модуль может объединять результаты выявления отдельных классификаторов в том случае, когда классификаторы работают параллельно. Альтернативно, один или несколько классификаторов также могут функционировать последовательно таким образом, что выход одного классификатора может быть входом для последующего классификатора. Для этого может быть использована сеть искусственных нейронов с искусственными синаптическими элементами.

Варианты осуществления изобретения могут быть осуществлены фактически совместно с любым типом компьютеров, прежде всего смартфонов, независимо от платформы, которые являются подходящими для сохранения и/или выполнения программного кода. Фиг. 8 в качестве примера показывает вычислительную систему 800, которая подходит для выполнения относящегося к предложенному способу программного кода. Наряду со смартфонами, также и другие мобильные устройства с камерой, процессором для выполнения программного кода и приемопередатчиком, могут оказаться подходящими для реализации предложенного способа и/или соотнесенной ему системы распознавания.

Вычислительная система 800 является только одним примером подходящей компьютерной системы, и не представляет собой какого-либо ограничения относительно объема использования или функциональности вариантов осуществления описанного в настоящем документе изобретения. В любом случае, компьютерная система 800 является способной к реализации и/или выполнению любой из сформулированных выше функций. Компьютерная система 800 имеет компоненты, которые могут функционировать совместно с многочисленными другими вычислительными системами, окружениями или конфигурациями общего назначения или специального назначения. Примеры известных вычислительных систем, окружений и/или конфигураций, которые могут подойти для использования с компьютерной системой 800, включают в себя, но не ограничены ими, планшетные компьютеры, карманные компьютеры или ноутбуки, мультипроцессорные системы, основанные на микропроцессорах системы, программируемую бытовую электронику, смартфоны и цифровые фотоаппараты с избыточной вычислительной мощностью, которые включают в себя любые из вышеупомянутых систем или устройств и т.п. Компьютерная система 800 может быть описана в общем контексте выполняемых компьютерной системой команд, таких как программные модули, выполняемые компьютерной системой 800. Обычно, программные модули могут включать в себя подпрограммы, программы, объекты, компоненты, логику, структуры данных и тому подобные элементы, которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных.

Как показано на чертеже, компьютерная система 800 реализована в виде вычислительного устройства общего назначения. Компоненты компьютерной системы 800 могут включать в себя, но не ограничиваются ими, один или несколько процессоров или вычислительных устройств 802, память 804 системы, и шину 818, которая соединяет с процессором 802 различные компоненты системы, в том числе, память 804 системы. Компьютерная система 800, как правило, включает в себя ряд считываемых компьютерной системой носителей. Такие носители могут быть представлены любыми доступными для компьютерной системы 800 носителями. Также система включает в себя как энергозависимые, так и энергонезависимые носители, как съемные, так и несъемные носители.

Память 804 системы может включать в себя считываемые компьютерной системой носители в виде энергозависимой памяти, такие как запоминающее устройство с произвольным доступом (ЗУПВ) и/или кэш-память. Компьютерная система 800, кроме того, может включать в себя другие съемные и несъемные, энергозависимые и энергонезависимые информационные носители компьютерной системы. Исключительно в качестве примера, может быть предоставлена система 812 хранения данных для считывания с несъемной микросхемы системы хранения данных и для записи на нее. Информационные носители могут быть соединены с шиной 806 посредством одного или нескольких интерфейсов носителей данных. Как, кроме того, изображено и описано ниже, память 804 может включать в себя по меньшей мере один программный продукт, имеющий набор (например, по меньшей мере один) программных модулей, которые сконфигурированы для выполнения функций вариантов осуществления изобретения.

Программа/сервисная программа, которая имеет набор (по меньшей мере, один) программных модулей, может быть сохранена, в качестве примера, но не ограничения, в памяти 804, как, в равной мере, также и операционная система, одно или несколько приложений, других программных модулей и данных о программе. В общем, программные модули могут выполнять функции и/или методологии вариантов осуществления изобретения, как описано в настоящем документе.

Компьютерная система 800 также выполнена с возможностью коммуникации с одним или несколько внешними устройствами, такими как клавиатура, позиционирующее устройство, дисплей 820, и т.д. Эти устройства могут быть объединены в сенсорном экране, который обеспечивает пользователю возможность взаимодействия с компьютерной системой 800, и/или любыми другими устройствами (например, сетевой платой, модемом и т.д.), которые обеспечивают компьютерной системе 800 возможность сообщения с одним или несколькими другими вычислительными устройствами. Такое сообщение может происходить посредством входных/выходных (I/O) интерфейсов. Кроме того, компьютерная система 800 выполнена с возможностью коммуникации через сетевой адаптер 822 с одной или несколькими сетями, такими как локальная сеть (LAN), общая глобальная сеть (WAN) и/или мобильная общедоступная сеть (например, Интернет). Как показано, сетевой адаптер 814 выполнен с возможностью коммуникации с другими компонентами компьютерной системы 800 через шину 818. Подразумевается, хотя не показано, в связи с компьютерной системой 800 могут быть использованы и другие аппаратные средства и/или компоненты программного обеспечения. Примеры, в том числе, но не ограничиваясь: система микрокоманд, драйверы устройств, резервные вычислительные устройства и т.д.

Кроме того, к системной шине 818 может быть присоединена идентификационная система 700 для идентификации типа сорняка в естественной среде.

Описания различных вариантов осуществления настоящего изобретения представлены в целях иллюстрации, но не предназначены для исчерпывающего описания или ограничения раскрытых вариантов осуществления. Многие модификации и изменения являются очевидными для средних специалистов в области техники без отступления от объема и духа описанных вариантов осуществления. Используемая в настоящем документе терминология выбрана для наилучшего объяснения принципов вариантов осуществления, практического применения или технического улучшения по сравнению с имеющимися в коммерческом доступе технологиями, или для обеспечения другим средним специалистам в области техники возможности понимания раскрытых в настоящем документе вариантов осуществления.

Настоящее изобретение может быть воплощено как система, способ и/или компьютерный программный продукт. Компьютерный программный продукт может включать в себя машиночитаемый информационный носитель (или носители), имеющий на нем машиночитаемые программные команды для побуждения процессора к выполнению аспектов настоящего изобретения.

Носитель может быть представлен электронной, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой для среды распространения, такой как, например, твердотельное запоминающее устройство, запоминающее устройство с произвольным доступом (ЗУПВ), постоянное запоминающее устройство (ПЗУ).

Машиночитаемый информационный носитель может быть представлен материальным устройством, которое является способным к удержанию и сохранению команд для использования устройством выполнения команд. Машиночитаемый информационный носитель может быть представлен, например, но не ограничиваясь этим, электронным запоминающим устройством, магнитным запоминающим устройством, оптическим запоминающим устройством, электромагнитным запоминающим устройством, полупроводниковым запоминающим устройством, таким как электрически перепрограммируемое постоянное запоминающее устройство (ЭППЗУ), или любой подходящей комбинацией вышеуказанного. Машиночитаемый информационный носитель, как он рассматривается в настоящем документе, не подлежит истолкованию в качестве представленного преходящими сигналами как таковыми, такими как радиоволны или другие свободно распространяющиеся электромагнитные волны, электромагнитные волны, распространяющиеся через волновод или другие среды передачи (например, проходящие через волоконно-оптический кабель световые импульсы), или передаваемые через провода электрические сигналы.

Описанные в настоящем документе машиночитаемые программные команды могут быть загружены на соответствующие вычислительные устройства, например, в виде приложения для смартфона от поставщика услуг через мобильное сетевое соединение.

Машиночитаемые программные команды для выполнения операций настоящего изобретения могут быть представлены любыми машинозависимыми или машинонезависимыми командами, системой микрокоманд, командами встроенного программного обеспечения, присваивающими значение состоянию данными, или иным исходным кодом или объектным кодом, записанным на любой комбинации из одного или нескольких языков программирования, включая сюда объектно-ориентированные языки программирования, такие как Smalltalk, С++, Java и т.п., а также обычные языки процедурного программирования, такие как язык программирования «С» или подобные языки программирования. Машиночитаемые программные команды могут быть полностью выполнены на компьютерном устройстве. В некоторых вариантах осуществления электронные схемы, включающие в себя, например, программируемые логические схемы, программируемые пользователем вентильные матрицы (ППВМ) или программируемые логические матрицы (ПЛМ) могут выполнять машиночитаемые программные команды посредством использования информации о состоянии машиночитаемых программных команд для настройки электронной схемы с целью выполнения аспектов настоящего изобретения.

Аспекты настоящего изобретения описаны в настоящем документе с отсылками на иллюстрации в виде блок-схем и/или блок-диаграмм для способов, устройств (систем) и компьютерных программных продуктов согласно вариантам осуществления изобретения. Подразумевается, что каждый блок иллюстраций в виде блок-схем и/или блок-диаграмм, а также комбинации блоков на иллюстрациях в виде блок-схем и/или блок-диаграмм, могут быть реализованы посредством машиночитаемых программных команд.

Такие машиночитаемые программные команды могут быть предоставлены процессору универсального компьютера, специализированного компьютера или другого программируемого устройства обработки данных для образования машины таким образом, что выполняющиеся посредством процессора компьютера или другого программируемого устройства обработки данных команды создают средства для реализации функций/действий, заданных в блоке или блоках блок-схемы и/или блок-диаграммы. Такие машиночитаемые программные команды также могут быть сохранены в машиночитаемом информационном носителе, который может управлять компьютером, программируемым устройством обработки данных и/или другими устройствами для их функционирования особым способом таким образом, что сохраняющий на нем команды машиночитаемый информационный носитель представляет собой изделие, содержащее команды, которые реализуют аспекты функций/действий, заданных в блоке или блоках блок-схемы и/или блок-диаграммы.

Машиночитаемые программные команды также могут быть загружены в компьютер, другое программируемое устройство обработки данных или другое устройство для побуждения к выполнению на компьютере, другом программируемом устройстве или другом устройстве такого компьютерно-реализованного процесса, что выполняемые на компьютере, другом программируемом устройстве или другом устройстве команды реализуют функции/действия, заданные в блоке или блоках блок-схемы и/или блок-диаграммы.

Блок-схемы и блок-диаграммы на чертежах показывают архитектуру, функциональность и функционирование возможных реализаций систем, способов и компьютерных программных продуктов согласно различным вариантам осуществления настоящего изобретения. В этом отношении каждый блок в блок-схемах или блок-диаграммах может представлять модуль, сегмент или участок команд, который содержит одну или несколько исполнимых команд для реализации указанной логической функции (функций). В некоторых альтернативных реализациях указанные в блоках функции могут осуществляться в порядке, отличном от приведенного на чертежах. Например, два блока, показанные по очереди, могут, фактически, быть выполнены по существу одновременно, или блоки могут иногда выполняться в обратном порядке, в зависимости от предусмотренной к выполнению функциональности. Необходимо также отметить, что каждый блок на иллюстрациях в виде блок-схем и/или блок-диаграмм, а также в комбинациях блоков на иллюстрациях в виде блок-схем и/или блок-диаграмм, может быть реализован посредством основанных на аппаратных средствах систем особого назначения, которые выполняют указанные функции или действия или выполняют комбинации аппаратных и компьютерных команд особого назначения.

Соответствующие материалы и эквиваленты всех средств или этапов, равно как функциональные элементы в пунктах формулы изобретения ниже предназначаются для включения в себя любой структуры, материала или действия для выполнения функции в сочетании с другими требуемыми элементами, как конкретным образом заявлено. Описание настоящего изобретения представлено в целях иллюстрации и описания, но не предназначается для полного охвата или ограничения изобретения в заявленном виде. Многие модификации и изменения являются очевидными для средних специалистов в области техники без отступления от существа и объема настоящего изобретения. Варианты осуществления были выбраны и описаны с целью наилучшего объяснения принципов изобретения и практического применения, а также для обеспечения другим средним специалистам в области техники возможности понимания изобретения для различных вариантов осуществления с различными модификациями, как они подходят для конкретно рассматриваемого использования.

Изобретение относится к области информационных технологий, а именно к средствам оптического распознавания объектов. Технический результат заключается в повышении точности определения сорняков в естественной среде. Способ включает в себя получение цифрового изображения, содержащего данные, представляющие сорняк на ранней стадии развития в естественной среде среди возделываемой культуры, совместно с соотнесенными метаданными, оконтуривание областей листьев, и выявление того, является ли сорняк односемядольным растением или двусеменодольным растением. Помимо этого, способ включает в себя выявление стадии развития сорняка, выявление типа сорняка, идентифицируемого наименованием сорняка и вероятностью точности выявления, с использованием по меньшей мере одного из множества полученных метаданных и множества метаданных, выявленных во время оконтуривания, во время выявления, является ли сорняк односемядольным растением или двусеменодольным растением, и во время выявления стадии развития сорняков, в качестве входных параметров для набора классификаторов, имеющих доступ к системе хранения данных, содержащей наименования типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка. 2 н. и 13 з.п. ф-лы, 9 ил.

1. Способ идентификации типа сорняка на основании цифрового изображения сорняка в естественной среде, причем способ включает в себя

получение цифрового изображения, содержащего данные, представляющие сорняк на ранней стадии развития в естественной среде среди возделываемой культуры, а также метаданные, относящиеся к цифровому изображению, причем ранняя стадия развития задана кодом ВВСН от 10 до 39,

оконтуривание в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей пиксели сорняка в граничном контуре,

выявление того, является ли сорняк односемядольным растением или двусеменодольным растением,

выявление типа сорняка, идентифицируемого наименованием сорняка и вероятностью точности выявления, с использованием

по меньшей мере одного из множества полученных метаданных, и

по меньшей мере одного из множества производных метаданных, выявленных:

во время оконтуривания, и

во время выявления, является ли сорняк односемядольным растением или двусеменодольным растением, в качестве входных параметров для набора классификаторов, имеющих доступ к системе хранения данных, содержащей наименования типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка.

2. Способ по п. 1, включающий в себя также

выявление стадии развития сорняка путем:

изоляции по меньшей мере одного отдельного листа сорняка путем выявления центрального соединения оконтуренной области,

выявления числа листьев в оконтуренной области, и

выявление типа сорняка, идентифицируемого наименованием сорняка и вероятностью точности выявления, с использованием производных метаданных, выявленных во время выявления стадии развития сорняков.

3. Способ по п. 1 или 2, причем предопределенная характеристика цвета относится к цветовому диапазону растений в естественной среде, прежде всего к зеленому цветовому диапазону с длиной волны от 490 до 575 нм.

4. Способ по одному из предшествующих пунктов, причем оконтуривание областей с предопределенной характеристикой цвета и структуры выполняют путем выявления для каждого пикселя цифрового изображения того, соответствует ли комбинация его RGB-цветовых компонентов одной из множества предопределенных цветовых комбинаций.

5. Способ по одному из предшествующих пунктов, причем оконтуривание областей с предопределенной характеристикой цвета выполняют дополнительно путем выявления:

wi=F (pi, pi, j),

где wi=1 или 0 указывает на то, что пиксель i принадлежит или не принадлежит сорняку,

F является функцией, вычисляющей вероятность для сорняка или не сорняка, на основе цветовых атрибутов pi и всех pj,

pi=пиксель i,

pi, j=комбинированные пиксели j, которые окружают пиксель i.

6. Способ по одному из предшествующих пунктов, причем выявление того, является ли сорняк односемядольным растением или двусеменодольным растением, включает в себя применение классификатора, который обучен различению между односемядольными и двусеменодольными сорняками, что обеспечивает получение двоичного значения идентификатора для выявления двудольных и однодольных растений.

7. Способ по одному из предшествующих пунктов, причем производные метаданные содержат по меньшей мере одно значение, выбранное из группы, содержащей двоичное значение идентификатора для выявления двудольных и однодольных растений, выявленное число листьев и выявленную стадию развития.

8. Способ по одному из предшествующих пунктов, причем полученные метаданные содержат по меньшей мере одно из группы, содержащей значения данных системы глобального позиционирования по местоположению видеозахвата цифрового изображения, календарную дату, топографические данные, соответствующие значениям данных системы глобального позиционирования, данные по ускорению устройства видеозахвата в момент видеозахвата цифрового изображения, угол наклона устройства видеозахвата во время захвата им цифрового изображения, и тип камеры, с помощью которой было захвачено цифровое изображение.

9. Способ по одному из предшествующих пунктов, причем каждое значение метаданных имеет предопределенное весовое значение, которое также используют в качестве входного параметра для набора классификаторов.

10. Способ по одному из предшествующих пунктов, причем выявление типа сорняка, идентифицируемого по его наименованию сорняка, также включает в себя

сравнение выявленного наименования сорняка с вероятностной диаграммой сорняка, которая предоставляет отображение вероятности появлений сорняка для географических местоположений и сезонных данных, и

перерасчет вероятности точности выявления на основе сравнения выявленного наименования сорняка с вероятностной диаграммой сорняка.

11. Способ по одному из предшествующих пунктов, также включающий в себя передачу на устройство, посредством которого было захвачено цифровое изображение, наименований сорняков и связанных с ними вероятностей точности выявления для наименований сорняков, которые имеют три самых высоких значения вероятности.

12. Идентификационная система для идентификации типа сорняка на основании цифрового изображения сорняка, причем цифровое изображение содержит данные, представляющие сорняк на ранней стадии развития в естественной среде среди возделываемой культуры, причем идентификационная система содержит

приемный модуль, выполненный для получения цифрового изображения и метаданных, относящихся к цифровому изображению,

модуль оконтуривания, выполненный для оконтуривания в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей пиксели сорняка в пределах границы,

первый классифицирующий модуль, выполненный для выявления того, является ли сорняк односемядольным растением или двусеменодольным растением,

набор вторых классифицирующих модулей, выполненный для выявления типа сорняка, идентифицируемого посредством наименования сорняка, и вероятности точности выявления с использованием

по меньшей мере одного из множества полученных метаданных, и

по меньшей мере одного из множества производных метаданных, выявленных:

посредством модуля оконтуривания, и

посредством первого классифицирующего модуля,

в качестве входных параметров, причем набор вторых классифицирующих модулей имеет доступ к системе хранения данных, содержащей наименования типов сорняков совместно с несколькими наборами метаданных для каждого типа сорняка.

13. Идентификационная система по п. 12, содержащая также

выявляющий модуль, выполненный для выявления стадии развития сорняка посредством

изоляции по меньшей мере одного отдельного листа сорняка путем выявления центрального соединения оконтуренной области,

выявления числа листьев в оконтуренной области, и

причем набор вторых классифицирующих модулей выполнен для выявления типа сорняка, идентифицируемого посредством наименования сорняка, и вероятности точности выявления с использованием производных метаданных, выявленных посредством выявляющего модуля.

14. Идентификационная система по п. 12 или 13, причем предопределенная характеристика цвета относится к цветовому диапазону растений в естественной среде, содержащему полный видимый диапазон с фокусом в зеленом цветовом диапазоне с длиной волны от 490 до 575 нм.

15. Идентификационная система по любому из пп. 12-14, также содержащая передающий модуль, выполненный для передачи наименований сорняков и связанной вероятности точности выявления для наименований сорняков, имеющих три самых высоких значения вероятности.