РАСПОЗНАВАНИЕ СОРНЯКА В ЕСТЕСТВЕННОЙ СРЕДЕ Российский патент 2022 года по МПК G06K9/46 A01M21/04 

Область изобретения

В общем, изобретение относится к распознаванию сорняка и, прежде всего, к способу распознавания типа сорняка в естественной среде. Изобретение, кроме того, относится к системе распознавания для распознавания типа сорняка в естественной среде, к способу выбора конкретного гербицида и к машиночитаемому информационному носителю.

Уровень техники

В настоящее время сельское хозяйство проходит очередной этап развития. После индустриализации многих сельскохозяйственных процессов и серии инициатив по автоматизации, продолжается внедрение в сельскохозяйственный процесс высокотехнологичных инструментов. Такое явление как Интернет вещей (IoT) также находит применение на сельскохозяйственных полях. С другой стороны, фермеры весьма заинтересованы в увеличении урожайности. Однако урожайность также зависит от вредителей и/или сорняков на полях. Вследствие этого, фермеры с целью борьбы с сорняками используют гербициды. Такая обработка обычно сопряжена с высокими затратами. Поэтому при принятии решений относительно использования конкретных гербицидов против конкретного сорняка, фермеры стремятся к экономии. До сих пор, при внесении гербицидов, для идентификации сорняков фермеры должны полагаться на свои индивидуальные опыт и знания. Однако выбор надлежащих гербицидов в правильных объемах может способствовать экономии денежных средств, а также, кроме того, и защите окружающей среды.

Таким образом, существует потребность в технической помощи в деле идентификации сорняков на пахотном поле без использования ручного процесса сбора на поле отдельных листьев возможного сорняка и без попыток идентификации типа сорняка в подсобном помещении с помощью доступной литературы. Поэтому целью настоящей заявки является предоставление способа и системы идентификации сорняков в естественной среде среди возделываемой культуры.

Сущность изобретения

Эта потребность может быть удовлетворена способом идентификации типа сорняка в естественной среде, системой распознавания для идентификации типа сорняка в естественной среде, способом выбора конкретного гербицида, а также машиночитаемым информационным носителем согласно независимым пунктам формулы изобретения.

Согласно одному аспекту настоящего изобретения может быть предоставлен способ распознавания типа сорняка в естественной среде. Способ может содержать видеозахват цифрового изображения сорняка среди возделываемой культуры в естественной среде, причем сорняк находится на ранней стадии развития, а также оконтуривание в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей относящиеся к сорняку пиксели в пределах граничного контура.

Цифровое изображение может быть показано совместно с наименьшей предопределенной выпуклой рамкой, охватывающей оконтуренные области. Кроме того, совместно с цифровым изображением и наименьшей предопределенной выпуклой рамкой может быть показано значение индикатора. Данный индикатор может отображать предопределенный критерий качества цифрового изображения, основанный на выявлении того, что наименьшая предопределенная выпуклая рамка покрывает предопределенную минимальную область доступной области отображения, и измерении положительного выходного значения детектора фокусировки относительно оконтуренных областей. Положительное выходное значение относится к четкости изображения области цифрового изображения в пределах оконтуренной области.

Цифровое изображение может быть сохранено только в том случае, когда значение индикатора указывает на то, что цифровое изображение соответствует предопределенному критерию качества, и информация о цвете цифрового изображения вне предопределенной выпуклой рамки может быть сброшена. Кроме того, цифровое изображение может быть передано, прежде всего на сервер, для дальнейшего исследования, включающего в себя применение к захваченному цифровому изображению по меньшей мере одной обучаемой корреляционной функции классификатора, включающей в себя классификаторы нейронной сети и объектно-ориентированные идентификаторы как для сорняка, так и для отдельных листьев, для распознавания сорняка, причем корреляционная функция имеет доступ к наименованиям типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка, и метаданные используют в качестве входных значений для системы нейронной сети, генерирующей наименование сорняка совместно с вероятностью для одного или нескольких типов сорняков, а наименование сорняка для сорняка с захваченного изображения и связанное значение вероятности, отображающее вероятность совпадения между наименованием сорняка и сорняком захваченного цифрового изображения могут быть приняты обратно.

Согласно другому аспекту настоящего изобретения может быть предоставлена система распознавания для распознавания типа сорняка в естественной среде. Система распознавания может содержать цифровой фотоаппарат, прежде всего в смартфоне, служащий для видеозахвата цифрового изображения сорняка среди возделываемой культуры в естественной среде, причем сорняк находится на ранней стадии развития, и модуль оконтуривания, выполненный для оконтуривания в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей относящиеся к сорняку пиксели в пределах границы.

Кроме того, система распознавания может содержать дисплей, выполненный для показа цифрового изображения совместно с наименьшей предопределенной выпуклой рамкой, охватывающей оконтуренные области, причем дисплей также выполнен для показа значения индикатора совместно с цифровым изображением и наименьшей предопределенной выпуклой рамки. Данный индикатор отображает предопределенный критерий качества цифрового изображения, основанный на выявлении того, что наименьшая предопределенная выпуклая рамка покрывает предопределенную минимальную область доступной области отображения, и на измерении положительного выходного значения детектора фокусировки относительно оконтуренной области. Положительное выходное значение относится к четкости изображения области цифрового изображения, относящейся к оконтуренной области.

Дополнительная система хранения данных в качестве части системы распознавания может быть приспособлена к сохранению цифрового изображения только в том случае, когда значение индикатора указывает на то, что цифровое изображение соответствует предопределенному критерию качества. Модуль сброса может быть выполнен для сброса информации о цвете цифрового изображения вне предопределенной выпуклой рамки.

Кроме того, система распознавания может содержать передающий модуль, выполненный для передачи цифрового изображения для дальнейшего его исследования, а также приемник, выполненный для получения наименования сорняка для сорняка захваченного изображения, а также связанного значения вероятности, отображающего вероятность совпадения между наименованием сорняка и сорняком захваченного цифрового изображения.

Следует отметить, что система распознавания может быть реализована в виде части смартфона, и что способ распознавания типа сорняка в естественной среде может быть реализован с помощью смартфона.

Кроме того, варианты осуществления могут иметь вид связанного компьютерного программного продукта, доступного с применимого на компьютере или считаемого компьютером носителя, который предоставляет программный код для использования посредством компьютера или любой другой системы выполнения команд, или в связи с ними. В рамках настоящего описания, применимый на компьютере или считываемый компьютером носитель может быть представлен любым устройством, которое способно к содержанию средств для хранения, сообщения, распространения или передачи программы, для использования посредством системы выполнения команд, аппаратуры или устройства, или в соединении с ними.

Предложенный способ распознавания типа сорняка в естественной среде предлагает несколько преимуществ и технических эффектов.

Автоматическое обнаружение типа сорняка и выявление правильного наименования сорняка имеют большое значение для фермеров в поле. Сорняки на возделываемом поле способны к изменению от сезона к сезону, в зависимости от погодных условий, и от одного года к другому. Кроме того, внешние представления сорняков могут изменяться в зависимости от условий окружающей среды таким образом, что также и специалисты могут оказаться неспособными к надежной идентификации типа сорняка. Прежде всего, во время ранних стадий развития, может оказаться затруднительным распознавание небольших различий во внешних представлениях конкретного сорняка. Возможность использования в этих целях камеры, например, смартфона, изготовления снимка, выполнения предварительного анализа в пределах смартфона и/или передачи изображения в идентификационную систему, может оказаться для фермера весьма значительным преимуществом. Ему предоставлена возможность незамедлительного решения относительно использования того или иного типа гербицида с целью борьбы с развивающимся среди его возделываемой культуры сорняком. Это также может способствовать внесению гербицида только в областях произрастания сорняка.

Задача видеозахвата изображения возможного сорняка также может быть выполнена необразованными фермерами, вспомогательным персоналом или временным штатом без какого-либо опыта в распознавании сорняков. Это помогает сэкономить ценные в сельскохозяйственном процессе время и деньги. Комбинация вида предварительной обработки полученного изображения сорняка в смартфоне и уменьшения графической информации до практичного минимума, совместно с использованием высокоэффективной, высокотехнологичной системы анализа сорняка в виде системы нейронной сети может обеспечивать возможность более или менее незамедлительного выявления наименования сорняка и передачи его обратно на смартфон лица, захватившего изображение сорняка. Использование метаданных в качестве входных значений для системы нейронной сети, которая генерирует наименование сорняка совместно с вероятностью для одного или нескольких типов сорняков, а также передача этой информации обеспечивают возможность сложного взаимодействия между фермером и системой поддержки. Этим также обеспечено выявление наименования сорняка с высокой вероятностью, а также предоставление фермеру рекомендаций по его дальнейшим действиям. Кроме того, является возможным реализация технологии нейронной сети в высокоэффективных многоядерных смартфонах или в выделенных системах для анализа сорняков.

Кроме того, полный процесс захвата изображения сорняка, а также передачи обратно наименования сорняка с оценкой вероятности, может быть выполнен в течение весьма краткого промежутка времени, например, нескольких секунд. Поскольку смартфоны в настоящее время имеют повсеместное распространение, отсутствует необходимость применения в поле какого-либо специального оборудования, такого как специальные камеры. Таким образом, затраты на процесс распознавания также могут быть удержаны сравнительно низкими по сравнению с традиционными технологиями.

Кроме того, делающее снимок лицо может получить помощь и рекомендации с целью захвата изображения самым подходящим способом для повышения вероятности корректного выявления и распознавания исследуемого сорняка. Пользователь устройства видеозахвата изображения может получать во время процесса видеозахвата изображения незамедлительные указания относительно того, является ли качество изображения достаточно высоким для надлежащего анализа. В этом случае пользователь имеет возможность проведения корректировки работы по видеозахвату изображения с целью повышения качества получаемого изображения сорняка.

Кроме того, предложенный способ и система обеспечивают возможность распознавания и выявления сорняка в естественной среде, а не только в оранжерее в искусственных условиях. Это может оказаться неоценимым преимуществом для работающих в поле фермеров, поскольку все результаты могут быть достигнуты незамедлительно и в реальных повседневных условиях труда. Распознавание сорняка в естественной среде показало себя как намного более трудная задача, чем распознавание в условиях оранжереи, поскольку число переменных в этом случае является значительно более большим. В оранжерее может присутствовать постоянный световой поток и отсутствовать прямой солнечный свет или связанное с единственным источником света сильное затенение, отсутствуют какие-либо изменения зависимой от времени дня угловой направленности освещения, которые приводят к непредсказуемым изменениям отражений и проявлениям окраски, отсутствуют облака, туман или дымка, или также вариабельность почвенных условий, отсутствует вариабельность условий увлажнения, отсутствуют перемещения растений под действием ветра, отсутствуют вызываемые насекомыми повреждения листвы. Причем указаны только некоторые из параметров, делающих распознавание в естественной среде несравнимо более затруднительным, чем распознавание сорняка в оранжерее. Таким образом, все вышеупомянутые обстоятельства варьируются в естественных условиях, что может представлять собой значительное различие для известных технологий частичного распознавания изображения, которые, как правило, полагаются на оптимальные и искусственные условия окружающей среды.

В последующем изложении описаны дополнительные варианты осуществления предложенного способа распознавания типа сорняка в естественной среде.

Согласно одному предпочтительному варианту осуществления способа, предопределенная характеристика цвета может относиться к цветовому диапазону сорняка в естественной среде и иметь своим признаком полный видимый диапазон и, прежде всего, основной фокус на зеленом цветовом диапазоне с длиной волны, например, от 490 до 575 нм. Это способствует уменьшению "шума в изображении" от фоновой информации, также захватываемой в качестве части цифрового изображения. Также и фон захваченного сорняка может содержать единичные зеленые пиксели или их небольшие группы, попадающие в этот диапазон длины волны. Оконтуривание способствует устранению таких фоновых информационных зеленых участков. Допустимый диапазон длины волны (например, от 490 до 575 нм) может быть сохранен в таблице, в базе данных или в другом подходящем формате данных.

Характеристики структуры могут относиться к прожилкам листа, к характерным формам листовых сегментов, к специфическим рисункам и к распределению окраски, к микроволоскам на верхней поверхности листа и по краю листа. Все эти, а также дополнительные характерные структуры не могут быть параметризованы явным образом, но принадлежат к "изученному" контексту обучаемой корреляционной функции (функций) классификатора.

Согласно дополнительному предпочтительному варианту осуществления способа оконтуривание областей с предопределенной характеристикой цвета и структуры может быть выполнено путем выявления для каждого комбинированного цвета цифрового изображения возможности согласования комбинации его цветовых компонентов с одной из нескольких предопределенных цветовых комбинаций. Как правило, датчики изображения функционируют с помощью известной RGB-цветовой модели (красный, зеленый, синий) с использованием трех субпикселей для каждого полного пикселя, причем один субпиксель используют для одного из трех основных цветов: красного, зеленого и синего. За счет этого заданные границы цветового пространства с предопределенной цветовой информацией и распределением интенсивности в RGB-модели информации по пикселям подцветов могут быть сохранены в качестве справочных данных. За счет этого может быть выполнено быстрое сравнение каждого пикселя цифрового изображения и сохраненной справочной информации по цветам, что обеспечивает выбор или отклонение пикселя захваченного цифрового изображения в качестве части подлежащей оконтуриванию области.

Согласно одному предпочтительному варианту осуществления способа, оконтуривание областей с предопределенной характеристикой цвета может быть дополнительно выполнено посредством выявления

wi = F (pi, pi,j) (уравнение 1),

где wi = 1 или 0 указывает на то, что пиксель i принадлежит или не принадлежит сорняку. Это может быть выполнено в дополнение к более прямому сравнению с допущенной цветовой информацией для отдельного пикселя. F может быть функцией, вычисляющей вероятность для сорняка, или соответственно, не сорняка, на основе цветовых атрибутов pi и всех pj, pi = пиксель i, а pi,j = пиксели j, которые окружают пиксель i. Число рассматриваемых в качестве окружающих пиксель i пикселей может быть различным. Например, могут быть использованы окружающие пиксели, образующие только одно кольцо; это могут быть 8 пикселей pi,j. Кроме того, также может быть рассмотрено следующее кольцо пикселей pi,j, которое окружает первое кольцо; это второе кольцо может дополнительное содержать 16 пикселей pi,j. Могут быть рассмотрены дополнительные пиксельные кольца, причем различные кольца подлежат умножению на весовые коэффициенты, которые тем меньше, чем более удалено пиксельное кольцо от пикселя i. Этим может быть обеспечено более полное выявление того, должен ли пиксель захваченного цифрового изображения считаться пикселем сорняка или нет.

Согласно дополнительному предпочтительному варианту осуществления способа индикатор может быть реализован в виде цветового кода предопределенной выпуклой рамки. Может быть использован подобный светофору цветовой код. Например, красная рамка может указывать на то, что качество или размер или любая другая характеристика изображения могут оказаться недостаточными. Зеленая рамка может указывать на то, что захваченное изображение является пригодным для последующей обработки. Наконец, желтая рамка может указывать на то, что хотя рамка оставляет желать лучшего, однако последующая обработка является допустимой; при этом следует ожидать низкокачественных результатов. Путем перемещения устройства видеозахвата изображения или лучшей фокусировки можно добиться немедленного изменения цвета рамки. За счет этого пользователь имеет возможность получения прямой обратной связи относительно качества изображения. Он имеет хорошую возможность улучшения качества изображения путем изменения местоположения или перефокусировки устройства видеозахвата, например, используемого им смартфона. На цветовой код охватывающей оконтуренную область рамки также могут влиять и другие критерии качества изображения, такие как, например, угол наклона камеры.

Согласно одному факультативному варианту осуществления способа, ранняя стадия развития может быть задана кодом от 10 до 39 по шкале BBCH (шкала феноменологических стадий развития растений). Использование кода BBCH (международно принятый код Biologische Bundesanstalt, Bundessortenamt und CHemische Industrie - Биологическое федеральное управление, Федеральное управление охраны сортов растений и Химическая промышленность - в Германии) может оказаться полезным в получении сравнимых результатов для ранней стадии развития сорняка. Как правило, сорняк на стадии развития согласно коду BBCH ниже 10, например, при появлении первых листьев, может оказаться недоступным для распознавания даже экспертом. Сорняк с превышающим или равными 40 кодом BBCH может оказаться слишком сильно проросшим для успешной борьбы с ним с помощью гербицидов. Однако также и сорняк с кодом BBCH ниже 10 может быть распознан с малой вероятностью. Достижению этой цели может способствовать расширенный спектральный анализ цветовой информации оконтуренной области.

Согласно одному факультативному варианту осуществления способа, захваченное цифровое изображение может иметь более низкое разрешение, чем сохраненное цифровое изображение. За счет этого отображаемое изображение, которое также может отображать предопределенную выпуклую рамку вокруг захваченного изображения сорняка, может быть предоставлено пользователю в подобном видеопотоку виде. Тем самым, отображаемое изображение может изменяться согласно перемещению смартфона. Из соображений производительности процесс видеозахвата изображения может быть выполнен с меньшим относительно максимального возможного разрешением.

Таким образом, пользователь имеет возможность незамедлительного распознавания увеличения или уменьшения значения индикатора, то есть повышения или понижения качества цифрового изображения. Тем не менее, в этом случае выбранное из видеопотока изображение может быть повторно захвачено с полным доступным разрешением камеры, например, при нажатии пользователем кнопки захвата. Это может повысить вероятность корректного распознавания сорняка.

Таким образом, в одном варианте осуществления способа может быть реализована такая опция, в рамках которой видеозахват того же цифрового изображения с более высоким, чем у первоначально захваченного цифрового изображения разрешением, может содержать повторное выполнение оконтуривания и измерения положительного выходного значения детектора фокусировки с использованием цифрового изображения с более высоким разрешением. Таким образом, этапы могут быть повторены с изображением более высокого разрешения для обеспечения наилучшего возможного качества изображения для последующей обработки, то есть распознавания сорняка.

Согласно одному предпочтительному варианту осуществления способа, измерение положительного выходного значения детектора фокусировки может содержать применение фильтра преобразования Лапласа к цифровому изображению в градациях серого, которое может быть получено из захваченного цифрового изображения, причем стандартное отклонение интенсивности в градациях серого определяется для пикселей, лежащих в пределах области, покрываемой оконтуренными областями.

Кроме того, коэффициент резкости может быть получен как квадрат стандартного отклонения. Изображение может быть получено посредством преобразования RGB-цветовой модели в другую цветовую модель, например, ТНЗ (тон, насыщенность, значение) или ТНС (тон, насыщенность, светлота/яркость). Использование специальной альтернативной реализации, которая имеет квадрат стандартного отклонения, позволяет присваивать большим различиям в интенсивности большие веса, что может улучшить качество процесса распознавания.

Согласно другому предпочтительному варианту осуществления способа, сброс информации о цвете также может содержать сброс информации о цвете областей цифрового изображения вне связанного граничного контура. Это имеет преимуществом возможность уменьшения необходимых требований к памяти для захваченного цифрового изображения. Это также может быть выгодным при передаче цифрового изображения или его предварительно обработанной версии. В дополнение к исключению информации о цвете в пределах формы непосредственно вне оконтуренной области, также из процесса сброса может быть исключено рамочное окружение контура. Таким образом, малое граничное окружение, например, шириной в несколько пикселей, на краях оконтуренной области не может быть сброшено относительно значений цветовой характеристики, но сохраняет информацию об исходном цвете. Это также имеет преимуществом лучшее распознавание отображаемого изображения со стороны пользователя дисплея, например, пользователя смартфона. В общем, области сброса могут быть сброшены к черному значению цвета. Однако может быть использован, например, любой другой цвет по умолчанию, кроме зеленого.

Согласно факультативному варианту осуществления в случае, когда сорняк является односемядольным растением, способ может содержать такой признак, что видеозахват цифрового изображения выполняют при расположении плоскости цифрового изображения, прежде всего плоскости видеозахвата, которая также может быть представлена сенсорной плоскостью, параллельно продольной протяженности односемядольного растения, плюс/минус предопределенный первый угол отклонения. То есть, в идеальном случае, такой сорняк может быть захвачен из положения непосредственно сбоку от односемядольного растения, например, травы. По практическим причинам, необходимость в удержании камеры абсолютно параллельно вертикальной протяженности сорняка может отсутствовать. Например, отклонение плюс/минус 10° может быть позволительным. Альтернативно, значение угла отклонения может составлять 5°, 15°, 20°, 25° или 30°. Тем самым плоскость изображения или сенсорная плоскость (без зеркал) могут быть примерно перпендикулярными поверхности почвы. Альтернативное решение для видеозахвата сорняка односемядольного типа может состоять в фиксации односемядольного растения и в укладывании его более или менее плоским образом на земле или почве. В этом случае сорняк может быть захвачен сверху.

Согласно другому факультативному варианту осуществления в случае, когда сорняк является двусеменодольным растением, способ может содержать такой признак, что видеозахват цифрового изображения выполняют при расположении плоскости цифрового изображения параллельно окружающей сорняк естественной среде, плюс/минус предопределенный второй угол отклонения, то есть непосредственно сверху от двусеменодольного растения. Также и в данном случае, по практическим причинам, может быть допустимым предопределенное отклонение, плюс/минус от безупречной параллельности, например, +/- 10°. В данном случае, применимы те же альтернативные углы отклонения, как указано выше. Как правило, возможный сорняк может быть спроецирован на середину устройства видеозахвата изображения, то есть формирователя изображения. Хорошее расположение может быть распознано посредством дисплея.

Согласно одному дополнительному предпочтительному варианту осуществления способа дальнейшее исследование может содержать такие признаки, как применение для распознавания сорняка к захваченному цифровому изображению по меньшей мере одной обучаемой корреляционной функции классификатора, включающей в себя классификаторы нейронной сети и объектно-ориентированные идентификаторы как для сорняка, так и для отдельных листьев, причем корреляционная функция может иметь доступ к наименованиям типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка. Производительность доступных смартфонов постоянно повышается. Поэтому классификаторы нейронной сети могут быть реализованы в виде части смартфона, либо в виде программного обеспечения, либо в виде аппаратного модуля. Это способствует устранению необходимости в передаче цифрового изображения на мощный сервер для последующей обработки, то есть распознавания сорняка. Вместо этого, распознавание сорняка может быть выполнено непосредственно в смартфоне. Кроме того, обнаруженные результаты, совместно с захваченным цифровым изображением и/или оконтуренной областью (областями) могут быть переданы со смартфона на сервер, обычно, с помощью беспроводных технологий.

Другие используемые корреляционной функцией классификатора метаданные могут включать в себя, но не быть ограничены ими, страну захвата изображения, дату, по которой может быть получена информация о сезоне, тип устройства для устройства видеозахвата изображения (поскольку различные модели камер могут иметь различные модели представления цветов или показатели чувствительности), ориентацию устройства, расстояние от устройства до сорняка, данные от акселерометра камеры, освещенность окружения, характеристики почвы (например, состав, проводимость), историю погоды, прошлые результаты обнаружения сорняка в том же окружении (том же месте), сравнение с картой сорняка, прошлую обработку с помощью гербицидов (с целью выявления возможной сопротивляемости), а также покрытие почвы сорняком (например, в процентном отношении, по результатам измерений или предполагаемое).

Согласно другому усовершенствованному способу, способ распознавания типа сорняка в естественной среде может быть использован для борьбы с сорняками, причем наименование гербицида выбирают из базы данных, и получают его совместно с наименованием сорняка и вероятностью. Это может обеспечивать для фермера возможность выбора конкретного гербицида с целью борьбы с сорняком. Выгодный вариант осуществления предусматривает возможность учета локальных погодных и сезонных условий. За счет этого фермер имеет возможность получения прямого доступа к базе знаний или базе данных центрального концентратора знаний, и он может использовать только те объемы гербицидов, которые требуются в локальных погодных и сезонных условиях. Этим обеспечена возможность сокращения его расходов для борьбы с сорняками на его сельхозугодьях.

Кроме того, варианты осуществления могут иметь вид связанного компьютерного программного продукта, доступ к которому может быть получен посредством применимого на компьютере или считываемого компьютером носителя, предоставляющего программный код для использования посредством компьютера или любой другой системы выполнения команд, такой как смартфон, или в соединении с ними. В рамках настоящего описания, применимый на компьютере или считываемый компьютером носитель может быть представлен любым устройством, которое способно к содержанию средств для хранения, сообщения, распространения или передачи программы, для использования посредством системы выполнения команд, аппаратуры или устройства, или в соединении с ними.

Краткое описание нескольких видов на чертежах

Следует отметить, что аспекты изобретения описаны с отсылками на различные предметы рассмотрения. Прежде всего, некоторые варианты осуществления описаны с отсылками на пункты формулы изобретения относительно способа, тогда как другие варианты осуществления описаны с отсылками на пункты формулы изобретения относительно устройства. Однако для квалифицированного в области техники специалиста, по вышеприведенному и последующему описанию понятно, что, если иное не указано, в дополнение к любой комбинации признаков, принадлежащих одному предмету рассмотрения, также и любая комбинация признаков, относящихся к другим предметам рассмотрения, прежде всего, признаков в пунктах формулы изобретения относительно способа и признаков в пунктах формулы изобретения относительно устройства, считается раскрытой в рамках этого документа.

Приведенные выше аспекты, равно как и другие аспекты настоящего изобретения раскрыты в примерах вариантов осуществления, описанных в дальнейшем изложении. Они объяснены с отсылками на примеры вариантов осуществления, которыми, однако, изобретение не ограничено.

Предпочтительные варианты изобретения описаны исключительно в качестве примера, и с отсылками на следующие чертежи.

Фиг. 1 показывает блок-схему варианта осуществления способа согласно изобретению для распознавания типа сорняка в естественной среде.

Фиг. 2 показывает блок-схему варианта осуществления для видеозахвата двусеменодольного растения.

Фиг. 3 показывает блок-схему варианта осуществления для видеозахвата односемядольного растения.

Фиг. 4А, 4Б, 4В показывают варианты осуществления этапов процесса оконтуривания области.

Фиг. 5А, 5Б показывают концепцию включения в процесс оконтуривания других колец пикселей.

Фиг. 6 показывает вариант осуществления дисплея с изображением сорняка и выпуклой рамки.

Фиг. 7 показывает блок-схему варианта осуществления системы распознавания сорняка.

Фиг. 8 показывает вариант осуществления содержащей систему распознавания вычислительной системы.

Подробное описание

В контексте настоящего описания могут быть использованы следующие соглашения, условия и/или выражения.

Термин "распознавание", прежде всего "распознавание типа сорняка", может обозначать автоматизированный, основанный на использовании машины процесс выявления или распознавания для конкретного типа сорняка, начиная с получения цифрового изображения от цифрового фотоаппарата, продолжая предварительной обработкой цифрового изображения, производством метаданных в ходе обработки цифрового изображения, и их использованием, например, посредством основанных на нейронной сети классификаторов для вероятностного анализа данных изображения, и заканчивая распознаванием одного типа или нескольких типов сорняков.

Термин "сорняк" может обозначать нежелательное растение любой разновидности, которое наделено способностью быстрого приспосабливания к любой окружающей среде. В данном случае, термин "сорняк" также может быть отнесен к растениям из числа возделываемых или культивируемых культур или коммерчески используемых растений, которые являются полезными в смысле сбора урожая произросших из семян плодов. Сорняк способен к нарушению процесса роста возделываемой культуры, а также к уменьшению урожайности сельскохозяйственных полей.

Термин "естественная среда", в контексте таких растений, как возделываемая культура или сорняк, может обозначать то обстоятельство, что растения произрастают в поле или на земле, которая может быть подвергнута естественным погодным и природным условиям, таким как влажность, а также прямой или непрямой солнечный свет. Тем самым естественная среда исключает искусственные окружающие среды, такие как оранжереи или другие неестественные окружающие среды для произрастания растений. Такие неестественные окружающие среды с управляемыми условиями наделены способностью к искусственному исключению многочисленных факторов влияния, которые делают процесс распознавания намного более затруднительным или, во многих случаях, и вовсе невозможным. Этот признак может оказаться предпочтительным в рамках предлагаемого способа и системы, поскольку дифференциация между возделываемой культурой и сорняком в искусственно управляемой окружающей среде существенно облегчена. В условиях строгого управления, распознавание конкретного типа сорняка может оказаться намного более легким, поскольку в конкретных и управляемых условиях, например оранжереи, большое количество типов сорняков может быть исключено уже предварительно.

Термин "видеозахват изображения" может обозначать классический процесс создания фотографии, однако, в цифровом виде. Для видеозахвата цифрового изображения могут быть необходимы некоторые известные оптические элементы совместно с формирователем изображения, как может быть обнаружено в настоящее время на примере типичных цифровых новинок. Такие цифровые фотоаппараты зачастую являются реализуемой в смартфоне функцией. Термин "видеозахват изображения" может обозначать процесс захвата цифрового снимка.

Термин " ранняя стадия развития" может обозначать стадию роста растения, на которой растение, прежде всего сорняк, еще не выросло до взрослой стадии. Однако на весьма ранних стадиях развития распознавание может оказаться затруднительным. Было показано, что использование "кода BBCH" может быть полезным при описании стадий развития растений, например, сорняков. Сокращение BBCH официально обозначает "Biologische Bundesanstalt, Bundessortenamt und CHemische Industrie" и описывает феноменологические стадии развития растений. Код имеет значения от 00 до 99. Код BBCH 10-19 представляет различные ранние стадии развития листьев. Основная стадия 2 развития включает в себя коды 20-29 BBCH и относится к периоду формирования боковых побегов/побегообразования. Основная 3 стадия развития (коды 30-39 BBCH) охватывает собой выход в трубку/развитие побега (основного побега). Таким образом, сосредоточение на сорняке со значением кода BBCH от 10 до 39 оказывается практичным при рассмотрении сорняка на ранней стадии развития.

Термин "оконтуривание" может обозначать процесс выявления контура конкретной области или поверхности, имеющей общие или подобные цветовые и/или структурные характеристики, например, сорняка на цифровом изображении. Каждый лист растения, прежде всего сорняка, имеет естественные границы или внешний край или края листа. Процесс оконтуривания включает в себя захват, распознавание и/или выявление этих краев таким образом, что в связанную оконтуренную область могут входить все или почти все пиксели сорняка.

Термин "характеристики цвета и структуры" может обозначать цифровую информацию относительно пикселей в цифровом изображении согласно цветовой модели, например RGB-цветовой модели (красный, зеленый, синий).

Однако также могут быть использованы и другие цветовые модели, такие как ТНЗ (тон, насыщенность, значение) или ТНС (тон, насыщенность, светлота/яркость). В отрасли является хорошо известным, что большая часть информации цветовой модели от одной цветовой модели может быть преобразована к другой цветовой модели посредством математической матричной операции. Различные цветовые модели могут иметь различные преимущества, такие как, например, наилучшее представление естественных цветов, наилучшее соответствие для цифровой обработки, оптимальная приспособленность для обработки шкалы яркости, наилучшее соответствие для распознавания края и, таким образом, для оконтуривания, и так далее.

Термин "RGB-цветовая модель" может обозначать известную аддитивную цветовую модель, в которой красный, зеленый, и синий цвета добавляют друг к другу различными способами для воспроизведения широкого цветового спектра. Название модели происходит от начальных букв трех аддитивных первичных цветов: красного, зеленого, и синего. Основное назначение RGB-цветовой модели состоит в отслеживании, представлении и отображении изображений в электронных системах, таких как телевизоры и компьютеры, хотя ее также используют и в обычной фотографии. До наступления электронной эры RGB-цветовая модель уже имела под собой надежное теоретическое обоснование, основанное на восприятии цветов человеком. RGB является аппаратно зависимой цветовой моделью. Различные устройства выполнены с возможностью измерения или воспроизведения данного значения RGB различным образом, поскольку цветовые элементы (такие как люминофоры или краски) и их ответ на отдельные уровни красного, синего, и зеленого варьируются от изготовителя к изготовителю, или, даже с течением времени в том же устройстве. Таким образом, RGB-значение может не отображать тот же цвет для различных устройств без соответствующего управления цветом и математических преобразований.

Термин "выпуклая рамка" может обозначать замкнутую рамку, охватывающую объект, полученный как часть цифрового изображения. Рамка может содержать отдельные соединенные линии, такие как замкнутый многоугольник. Термин "выпуклый" может обозначать отсутствие каких-либо вогнутых подчастей в качестве элементов выпуклой рамки. Таким образом, каждый из двух наборов соединительных линий ни при каких обстоятельствах не может иметь внутреннего, то есть ориентированного к внутренней стороне рамки, угла, превышающего 180°. Может быть выгодным использование правильной или симметричной рамки, такой как треугольник, квадрат, прямоугольник, пятиугольник, шестиугольник, параллелограмм и так далее.

Термин "детектор фокусировки" может обозначать устройство, выполненное для выявления того, является ли полученное цифровое изображение резким в оптическом смысле. Этот означает, что плоскость изображения и плоскость проекции выбраны согласно оптическим характеристикам используемой линзы или линз.

Термин "критерий качества" может обозначать критерий, который может быть отнесен к качеству цифрового изображения, прежде всего, захваченного сорняка. Выполнение этого условия может потребовать, например, того, что наименьшая предопределенная выпуклая рамка использует минимальную долю от полного доступного размера цифрового изображения величиной, например, 10% или более, например, 90% (другие значения также являются возможными: обычно, 30-50%), и что может быть достигнута предопределенная минимально допустимая резкость захваченной относящейся к сорняку области. Первое требование (наименьшая предопределенная выпуклая рамка) может обеспечивать доступ к достаточному объему относящейся к сорняку информации на цифровом изображении, а второй критерий (резкость) может давать гарантию минимально допустимого качества цифрового изображения. Распознавание сорняка по нерезким цифровым изображениям может быть чрезвычайно затруднительным или невозможным.

Термин "корреляционная функция классификатора" и, прежде всего, "обучаемая корреляционная функция классификатора" может обозначать одну или несколько математических функций, обеспечивающих возможность измерения подобия признаков между одним или несколькими участками захваченного изображения и набором справочных данных по изображению, посредством которых классификаторы были предварительно обучены. Параметризация признаков корреляционной функции не может быть запрограммирована вручную, но может быть натренирована, то есть обучена, с использованием массивов данных с известным множеством входных признаков, а также с известным требуемым результатом. Специалисту известны различные типы подходов к корреляции.

Фактически, этот подход также используется для характеристик структуры. Никакие параметры не могут быть заданы в явном виде, их автоматически получают в ходе тренировочных сессий для корреляционной функции (функций) классификатора.

В последующем изложении приведено подробное описание чертежей. Все команды на чертежах являются схематичными. Во-первых, приведена блок - схема варианта осуществления способа согласно изобретению распознавания типа сорняка в естественной среде. Кроме того, описаны другие варианты осуществления, а также варианты осуществления распознающей системы для распознавания типа сорняка в естественной среде.

Фиг. 1 показывает блок-схему варианта осуществления способа 100 распознавания типа сорняка в естественной среде. Способ содержит несколько этапов, а именно: видеозахват 102 цифрового изображения, прежде всего цветного изображения, сорняка среди возделываемой культуры в естественной среде, которая не должна быть представлена, явным образом, искусственной или оранжерейной окружающей средой. Сорняк находится на ранней стадии развития. Способ, кроме того, включает в себя оконтуривание 104 в цифровом изображении области с предопределенной характеристикой цвета и структуры в RGB-цветовой модели. Как правило, можно ожидать одной оконтуренной области с одним сорным растением. Однако может также наблюдаться более одной оконтуренной области с различными, возможно не связанными листьями, с двумя сорными растениями и т.п. Такое обнаружение или обнаруживающий процесс обнаруживает границы зеленых областей цифрового изображения. В ходе этого процесса в пределах граничного контура может быть создана по меньшей мере одна содержащая относящиеся к сорняку пиксели оконтуренная область, которая охватывает, например, один или несколько листьев, равно как, одно или несколько сорных растений. Однако также является возможным, что цифровое изображение захватывает более одного листа и/или стебля. Вследствие этого, может быть выявлено более одной оконтуренной области.

Затем захваченное цифровое изображение показывают 106 совместно с наименьшей предопределенной выпуклой рамкой. Предпочтительно, такая рамка может быть представлена прямоугольной рамкой. Однако могут быть допустимыми также и другие формы рамки, такие как круг, параллелограмм, треугольник, пятиугольник, шестиугольник и так далее. По практическим причинам, выпуклая рамка может иметь симметричный вид, который может быть выгодным в ходе процессов вычисления. С этой целью может быть использован дисплей смартфона.

Совместно с цифровым изображением и наименьшей предопределенной выпуклой рамкой, прежде всего предопределенной выпуклой формой рамки, показывают 108 значение индикатора. Значение индикатора показывает предопределенный критерий качества цифрового изображения. Он может быть основан на выявлении того, что наименьшая предопределенная выпуклая рамка покрывает предопределенную минимальную область доступной области отображения, например, 10% - 90%, обычно 50%. Этим может быть обеспечен минимальный размер цифрового изображения по сравнению с максимальным размером дисплея или изображения. Очевидно, чем выше это процентное отношение, тем лучшее разрешение захваченного изображения сорняка может быть достигнуто. Кроме того, значение индикатора основано на измерении положительного выходного значения детектора фокусировки относительно оконтуренных областей. Этим может быть обеспечена минимальная необходимая резкость захваченного листа сорняка. Очевидно, могут быть применены несколько способов обеспечения оптической резкости захваченного сорняка, например, гистограммная функция, работающая с отдельными значениями интенсивности конкретной цветовой модели. Это подразумевает, что положительное выходное значение относится к четкости изображения области цифрового изображения, относящейся к оконтуренной области, и таким образом, к листу или группе листьев. Индикатор может быть показан в виде цветового кода, прежде всего, цветов светофора наименьшей рамки, охватывающей захваченную область, то есть лист (листья) сорняка. Однако также могут быть применены численное значение, полосковый индикатор или другие отображаемые или звуковые типы индикаторов.

Кроме того, способ включает в себя сохранение 110 цифрового изображения, но только в том случае, когда значение индикатора показывает на то, что цифровое изображение соответствует предопределенному критерию качества. Затем информация о цвете цифрового изображения вне предопределенной выпуклой рамки сбрасывается 112, после чего, цифровое изображение может быть передано 116, прежде всего, на сервер, например, для дальнейшего исследования. На основании результата дальнейшего исследования могут быть получены 118 наименование сорняка или множество наименований сорняка для сорняка захваченного изображения, а также связанные значения вероятности. Значение вероятности может отображать вероятность совпадения между выявленным наименованием сорняка и сорняком захваченного цифрового изображения. Кроме того, также может быть получено и показано типичное изображение сорняка совместно с наименованием и значением вероятности правильного распознавания. Для выявления наименования сорняка и значения вероятности могут быть применены технологии когнитивных вычислений. Такой подход может подразумевать использование одной или нескольких систем нейронной сети.

Фиг. 2 показывает растение, прежде всего сорняк, и устройство 202 видеозахвата изображения. Оно может быть представлено камерой смартфона (не показано). Камера 202 может иметь объектив и конкретный апертурный угол 204. Захваченное цифровое изображение может охватывать лист (листья) 204 сорняка, в данном случае двусеменодольного растения. Стебель 208, например, может быть покрыт одним или несколькими листьями 206. В поперечном сечении также показаны поверхность 210 земли и корень 212 сорняка. В оптимальном случае, плоскость изображения камеры 202 является абсолютно параллельной продольной протяженности листьев 206, то есть перпендикулярной поверхности земли. Однако небольшие отклонения, обозначенные углом α, могут быть приемлемыми. На превышение углом α предопределенного порогового значения указывает вышеупомянутый индикатор. Фиг. 2 показывает двусеменодольное растение. Функционирование индикатора основано на предпосылке, что листья сорняка не произрастают параллельно поверхности почвы. Таким образом, в особых случаях, могут быть допустимыми другие, отличные от 10° углы наклона. Блокированный видеозахват изображения, например, при красном сигнале индикатора, может быть перезаписан пользователем. Можно предположить, что датчик 203 изображения и объектив камеры 202 являются перпендикулярными поверхности земли.

Следует также отметить, что цифровое изображение может захватывать не только более одного листа сорняка, но также и более одного растения возможного сорняка. Однако в идеальном случае для облегчения процесса распознавания, каждое захваченное изображение имеет только одно сорное растение или его лист.

Фиг. 3 показывает сопоставимый сценарий для односемядольного растения, например, для травы. Видеозахват цифрового изображения сверху от односемядольного растения может не предоставить информации, достаточной для классификации и выявления типа сорняка. Поэтому односемядольное растение может быть сфотографировано в цифровой форме сбоку от растения, или сорняк может быть извлечен из почвы и уложен на почве. В этом случае видеозахват сорняка может быть выполнен подобным показанному на фиг. 2 образом. В противном случае, оптическая плоскость 203 видеозахвата цифрового фотоаппарата 202 должна быть перпендикулярной поверхности земли. Также и в данном случае, обозначенные углом α малые отклонения являются приемлемыми. На превышение углом α предопределенного порогового значения указывает вышеупомянутый индикатор.

Фиг. 4А, 4Б, 4В показывают процесс оконтуривания. Фиг. 4А показывает проекцию листа 402 сорняка на датчик 203 изображения и/или на соответствующую пиксельную матрицу. Каждый малый квадрат 403 представляет собой один пиксель. Специалисту понятно, что в данном случае в целях удобства объяснения использована весьма крупнозернистая матрица. Как правило, камера может иметь разрешение в несколько миллионов пикселей. Фиг. 4Б показывает 404 результат оцифровки. Теперь гладких краев листа 402 не стало, и оригинальная аналоговая форма преобразована в цифровую. На следующем этапе на фиг. 4В возможный контур листа может быть извлечен из цифрового изображения. Все пиксели в пределах контура 406 могут быть рассмотрены как относящиеся к листу.

Фиг. 5А показывает детали процесса выявления того, может ли конкретный пиксель принадлежать листу сорняка или нет. В наиболее простом случае, в качестве критерия выявления используют значение цветовой характеристики отдельного пикселя pi 502. Связанный цветовой диапазон может содержать, например, длины волн 495-575 нм. Однако иногда такая простая дифференциация может оказаться недостаточной. Поэтому также принимают во внимание окружающие рассматриваемый пиксель 502 пиксели. Фиг. 5 показывает первое "кольцо" дополнительных пикселей, которые непосредственно окружают пиксель 502. Уравнение 1 может быть применено для использования также и относящейся к пикселю pi 502 информации.

Фиг. 5Б показывает, в дополнение к первому "кольцу" 504 из окружающих пиксель 502 пикселей, второе "кольцо" 506 из окружающих пикселей. Влияние или вес на исход решения относительно выявления пикселя 502 в качестве пикселя листа или нет, уменьшается тем более, чем более конкретный пиксель удален от рассматриваемого пикселя 502. Другие кольца пикселей pi,j могут быть использованы, причем они могут быть применены в качестве переменных функции F. Число используемых колец может быть функцией полного разрешения полученного изображения.

Фиг. 6 показывает цифровое изображение 502 сорняка, который содержит два листа на дисплее 604. Наименьшая выпуклая рамка показана в виде пунктирной прямоугольной рамки 606. Цвет этой прямоугольной рамки 606 может быть использован в качестве значения индикатора. Например, красная рамка может указывать на то, что качество цифрового изображения сорняка 602 может оказаться недостаточным. При повышении качества цифрового изображения сорняка 602 цвет рамки 606 может измениться на желтый. Когда качество относительно критерия качества является достаточным для последующей обработки и процесса распознавания сорняка, цвет рамки 606 может быть преобразован к зеленому. Тем не менее, могут быть использованы и другие цветовые значения. Кроме того, или в качестве альтернативы, на экране 600 также может быть отображено числовое значение для светофорного символа или любые другие легко интерпретируемые индикаторы. Кроме того, выявленное качество цифрового изображения сорняка 602 также может быть обозначено посредством звукового сигнала. Таковой может быть представлен синтезированной речью или любой другой комбинацией акустических сигналов.

Фиг. 7 показывает блок-схему варианта осуществления системы 700 распознавания типа сорняка в естественной среде. Система распознавания содержит цифровой фотоаппарат 702, служащий для видеозахвата цифрового изображения сорняка среди возделываемой культуры в естественной среде. Сорняк должен находиться на ранней стадии развития. Модуль 704 оконтуривания выполнен для оконтуривания в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей относящиеся к сорняку пиксели в пределах границы.

Дисплей 706 выполнен для показа цифрового изображения совместно с наименьшей предопределенной выпуклой рамкой, охватывающей оконтуренную область, в которой дисплей 706 также выполнен для показа значения индикатора совместно с цифровым изображением и наименьшей предопределенной выпуклой рамкой. Индикатор показывает предопределенный критерий качества цифрового изображения. Он может быть основан на выявлении того, что наименьшая предопределенная выпуклая рамка покрывает предопределенную минимальную область доступной области отображения, и на измерении положительного выходного значения детектора фокусировки относительно оконтуренной области, причем положительное выходное значение относится к четкости изображения области цифрового изображения, относящейся к оконтуренной области. Дисплей 706 может быть представлен, например, сенсорным дисплеем смартфона.

В этом случае цифровое изображение может быть сохранено в системе 708 хранения данных только в том случае, когда значение индикатора указывает на то, что цифровое изображение соответствует предопределенному критерию качества. Модуль 710 сброса выполнен для сброса информации о цвете цифрового изображения вне предопределенной выпуклой рамки, передающий модуль или передатчик 712 выполнен для передачи цифрового изображения для дальнейшего исследования, а приемник 714 выполнен для получения наименования сорняка для сорняка захваченного изображения, а также связанного значения вероятности, отображающего вероятность совпадения между наименованием сорняка и сорняком захваченного цифрового изображения. За счет этого даже неопытный фермер может получить возможность различения различных типов сорняков на его поле среди возделываемой культуры.

Варианты осуществления изобретения могут быть осуществлены фактически совместно с любым типом компьютеров, прежде всего смартфонов, независимо от платформы, которые являются подходящими для сохранения и/или выполнения программного кода. Фиг. 8 в качестве примера показывает вычислительную систему 800, которая подходит для выполнения относящегося к предложенному способу программного кода. Наряду со смартфонами, также и другие мобильные устройства с камерой, процессором для выполнения программного кода и приемопередатчиком, могут оказаться подходящими для реализации предложенного способа и/или соотнесенной ему системы распознавания.

Вычислительная система 800 является только одним примером подходящей компьютерной системы, и не представляет собой какого-либо ограничения относительно объема использования или функциональности вариантов осуществления описанного в настоящем документе изобретения. В любом случае, компьютерная система 800 является способной к реализации и/или выполнению любой из сформулированных выше функций. Компьютерная система 800 имеет компоненты, которые могут функционировать совместно с многочисленными другими вычислительными системами, окружениями или конфигурациями общего назначения или специального назначения. Примеры известных вычислительных систем, окружений и/или конфигураций, которые могут подойти для использования с компьютерной системой 800, включают в себя, но не ограничены ими, планшетные компьютеры, карманные компьютеры или ноутбуки, мультипроцессорные системы, основанные на микропроцессорах системы, программируемую бытовую электронику, смартфоны и цифровые фотоаппараты с избыточной вычислительной мощностью, которые включают в себя любые из вышеупомянутых систем или устройств и т.п. Компьютерная система 800 может быть описана в общем контексте выполняемых компьютерной системой команд, таких как программные модули, выполняемые компьютерной системой 800. Обычно, программные модули могут включать в себя подпрограммы, программы, объекты, компоненты, логику, структуры данных и тому подобные элементы, которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных.

Как показано на чертеже, компьютерная система 800 реализована в виде вычислительного устройства общего назначения. Компоненты компьютерной системы 800 могут включать в себя, но не ограничиваются ими, один или несколько процессоров или вычислительных устройств 802, память 804 системы, и шину 818, которая соединяет с процессором 802 различные компоненты системы, в том числе, память 804 системы. Компьютерная система 800, как правило, включает в себя ряд считываемых компьютерной системой носителей. Такие носители могут быть представлены любыми доступными для компьютерной системы 800 носителями. Также система включает в себя как энергозависимые, так и энергонезависимые носители, как съемные, так и несъемные носители.

Память 804 системы может включать в себя считываемые компьютерной системой носители в виде энергозависимой памяти, такие как запоминающее устройство с произвольным доступом (ЗУПВ) и/или кэш-память. Компьютерная система 800, кроме того, может включать в себя другие съемные и несъемные, энергозависимые и энергонезависимые информационные носители компьютерной системы. Исключительно в качестве примера, может быть предоставлена система 812 хранения данных для считывания с несъемной микросхемы хранения данных и для записи на нее. Информационные носители могут быть соединены с шиной 806 посредством одного или нескольких интерфейсов носителей данных. Как будет, кроме того, изображено и описано ниже, память 804 может включать в себя по меньшей мере один программный продукт, имеющий набор (например, по меньшей мере один) программных модулей, которые сконфигурированы для выполнения функций вариантов осуществления настоящего изобретения.

Программа/сервисная программа, которая имеет набор (по меньшей мере, один) программных модулей, может быть сохранена, в качестве примера, но не ограничения, в памяти 804, как, в равной мере, также и операционная система, одно или несколько приложений, других программных модулей и данных о программе. В общем, программные модули могут выполнять функции и/или методологии вариантов осуществления изобретения, как описано в настоящем документе.

Компьютерная система 800 также выполнена с возможностью коммуникации с одним или несколько внешними устройствами, такими как клавиатура, позиционирующее устройство, дисплей 820, и т.д. Эти устройства могут быть объединены в сенсорном экране, который обеспечивает пользователю возможность взаимодействия с компьютерной системой 800, и/или любыми другими устройствами (например, сетевой платой, модемом и т.д.), которые обеспечивают компьютерной системе 800 возможность сообщения с одним или несколькими другими вычислительными устройствами. Такое сообщение может происходить посредством входных/выходных (I/O) интерфейсов. Кроме того, компьютерная система 800 выполнена с возможностью коммуникации через сетевой адаптер 822 с одной или несколькими сетями, такими как локальная сеть (LAN), общая глобальная сеть (WAN) и/или мобильная общедоступная сеть (например, Интернет). Как показано, сетевой адаптер 814 выполнен с возможностью коммуникации с другими компонентами компьютерной системы 800 через шину 818. Подразумевается, хотя не показано, в связи с компьютерной системой 800 могут быть использованы и другие аппаратные средства и/или компоненты программного обеспечения. Примеры, в том числе, но не ограничиваясь: система микрокоманд, драйверы устройств, резервные вычислительные устройства и т.д.

Кроме того, к системной шине 818 может быть присоединена идентификационная система 700 для идентификации типа сорняка в естественной среде.

Описания различных вариантов осуществления настоящего изобретения представлены в целях иллюстрации, но не предназначены для исчерпывающего описания или ограничения раскрытых вариантов осуществления. Многие модификации и изменения являются очевидными для средних специалистов в области техники без отступления от существа и объема описанных вариантов осуществления. Используемая в настоящем документе терминология выбрана для наилучшего объяснения принципов вариантов осуществления, практического применения или технического улучшения по сравнению с имеющимися в коммерческом доступе технологиями, или для обеспечения другим средним специалистам в области техники возможности понимания описанных в настоящем документе вариантов осуществления.

Настоящее изобретение может быть представлено системой, способом и/или компьютерным программным продуктом. Компьютерный программный продукт может включать в себя машиночитаемый информационный носитель (или носители), имеющий на нем машиночитаемые программные команды для принуждения процессора к выполнению аспектов настоящего изобретения.

Носитель может быть представлен электронной, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой для среды распространения, такой как, например, твердотельное запоминающее устройство, запоминающее устройство с произвольным доступом (ЗУПВ), постоянное запоминающее устройство (ПЗУ).

Машиночитаемый информационный носитель может быть представлен материальным устройством, которое способно удерживать и сохранять команды для использования посредством устройства выполнения команд. Машиночитаемый информационный носитель может быть представлен, например, но не ограничиваясь этим, электронным запоминающим устройством, магнитным запоминающим устройством, оптическим запоминающим устройством, электромагнитным запоминающим устройством, полупроводниковым запоминающим устройством, таким как электрически перепрограммируемое постоянное запоминающее устройство (ЭППЗУ), или любой подходящей комбинацией вышеуказанного. Машиночитаемый информационный носитель, как он рассматривается в настоящем документе, не подлежит истолкованию в качестве представленного преходящими сигналами как таковыми, такими как радиоволны или другие свободно распространяющиеся электромагнитные волны, электромагнитные волны, распространяющиеся через волновод или другие среды передачи (например, проходящие через волоконно-оптический кабель световые импульсы), или передаваемые через провода электрические сигналы.

Описанные в настоящем документе машиночитаемые программные команды могут быть загружены на соответствующие вычислительные устройства, например, в виде приложения для смартфона от поставщика услуг через мобильное сетевое соединение.

Машиночитаемые программные команды для выполнения операций настоящего изобретения могут быть представлены любыми машинозависимыми или машинонезависимыми командами, системой микрокоманд, командами встроенного программного обеспечения, присваивающими значение состоянию данными, или иным исходным кодом или объектным кодом, записанным на любой комбинации из одного или нескольких языков программирования, включая сюда объектно-ориентированные языки программирования, такие как Smalltalk, C++, Java и т.п., а также обычные языки процедурного программирования, такие как язык программирования "C" или подобные языки программирования. Машиночитаемые программные команды могут быть полностью выполнены на компьютерном устройстве. В некоторых вариантах осуществления электронные схемы, включающие в себя, например, программируемые логические схемы, программируемые на месте вентильные матрицы (FPGA) или программируемые логические матрицы (PLA) могут выполнять машиночитаемые программные команды посредством использования информации о состоянии машиночитаемых программных команд для настройки электронной схемы с целью выполнения аспектов настоящего изобретения.

Аспекты настоящего изобретения описаны в настоящем документе с отсылками на иллюстрации в виде блок-схем и/или блок-диаграмм для способов, устройств (систем) и компьютерных программных продуктов согласно вариантам осуществления изобретения. Подразумевается, что каждый блок иллюстраций в виде блок-схем и/или блок-диаграмм, а также комбинации блоков на иллюстрациях в виде блок-схем и/или блок-диаграмм, могут быть реализованы посредством машиночитаемых программных команд.

Такие машиночитаемые программные команды могут быть предоставлены процессору универсального компьютера, специализированного компьютера или другого программируемого устройства обработки данных для образования машины таким образом, что выполняющиеся посредством процессора компьютера или другого программируемого устройства обработки данных команды создают средства для реализации функций/действий, заданных в блоке или блоках блок-схемы и/или блок-диаграммы. Такие машиночитаемые программные команды также могут быть сохранены в машиночитаемом информационном носителе, который может управлять компьютером, программируемым устройством обработки данных и/или другими устройствами для их функционирования особым способом таким образом, что сохраняющий на нем команды машиночитаемый информационный носитель представляет собой изделие, содержащее команды, которые реализуют аспекты функций/действий, заданных в блоке или блоках блок-схемы и/или блок-диаграммы.

Машиночитаемые программные команды также могут быть загружены в компьютер, другое программируемое устройство обработки данных или другое устройство для побуждения к выполнению на компьютере, другом программируемом устройстве или другом устройстве такого компьютерно-реализованного процесса, что выполняемые на компьютере, другом программируемом устройстве или другом устройстве команды реализуют функции/действия, заданные в блоке или блоках блок-схемы и/или блок-диаграммы.

Блок-схемы и блок-диаграммы на чертежах показывают архитектуру, функциональность и функционирование возможных реализаций систем, способов и компьютерных программных продуктов согласно различным вариантам осуществления настоящего изобретения. В этом отношении каждый блок в блок-схемах или блок-диаграммах может представлять модуль, сегмент или участок команд, который содержит одну или несколько исполнимых команд для реализации указанной логической функции (функций). В некоторых альтернативных реализациях указанные в блоках функции могут осуществляться в порядке, отличном от приведенного на чертежах. Например, два блока, показанные по очереди, могут, фактически, быть выполнены по существу одновременно, или блоки могут иногда выполняться в обратном порядке, в зависимости от предусмотренной к выполнению функциональности.

Необходимо также отметить, что каждый блок на иллюстрациях в виде блок-схем и/или блок-диаграмм, а также в комбинациях блоков на иллюстрациях в виде блок-схем и/или блок-диаграмм, может быть реализован посредством основанных на аппаратных средствах систем особого назначения, которые выполняют указанные функции или действия или выполняют комбинации аппаратных и компьютерных команд особого назначения.

Соответствующие материалы и эквиваленты всех средств или этапов, равно как функциональные элементы в пунктах формулы изобретения ниже предназначаются для включения в себя любой структуры, материала или действия для выполнения функции в сочетании с другими требуемыми элементами, как конкретным образом заявлено. Описание настоящего изобретения представлено в целях иллюстрации и описания, но не предназначается для полного охвата или ограничения изобретения в заявленном виде. Многие модификации и изменения являются очевидными для средних специалистов в области техники без отступления от существа и объема настоящего изобретения. Варианты осуществления были выбраны и описаны с целью наилучшего объяснения принципов изобретения и практического применения, а также для обеспечения другим средним специалистам в области техники возможности понимания изобретения для различных вариантов осуществления с различными модификациями, как они подходят для конкретно рассматриваемого использования.

Изобретение относится к вычислительной технике. Технический результат заключается в выявлении наименования сорняка с высокой вероятностью. Способ распознавания типа сорняка в естественной среде содержит видеозахват цифрового изображения сорняка среди возделываемой культуры в естественной среде; оконтуривание в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей относящиеся к сорняку пиксели в пределах граничного контура; передачу цифрового изображения для дальнейшего исследования, включающего в себя применение к захваченному цифровому изображению по меньшей мере одной обучаемой корреляционной функции классификатора, включающей в себя классификаторы нейронной сети и объектно-ориентированные идентификаторы как для сорняка, так и для отдельных листьев, для распознавания сорняка, причем корреляционная функция имеет доступ к наименованиям типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка, и метаданные используют в качестве входных значений для системы нейронной сети, генерирующей наименование сорняка совместно с вероятностью для одного или нескольких типов сорняков; и получение наименования сорняка для сорняка захваченного изображения и значение вероятности совпадения между наименованием сорняка и сорняком захваченного цифрового изображения. 4 н. и 14 з.п. ф-лы, 8 ил.

1. Способ распознавания типа сорняка в естественной среде, причем способ включает в себя:

- видеозахват цифрового изображения сорняка среди возделываемой культуры в естественной среде, причем сорняк находится на ранней стадии развития, и причем ранняя стадия развития задана кодом BBCH от 10 до 39,

- оконтуривание в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей относящиеся к сорняку пиксели в пределах граничного контура,

- передачу цифрового изображения для дальнейшего исследования, включающего в себя применение к захваченному цифровому изображению по меньшей мере одной обучаемой корреляционной функции классификатора, включающей в себя классификаторы нейронной сети и объектно-ориентированные идентификаторы как для сорняка, так и для отдельных листьев, для распознавания сорняка, причем корреляционная функция имеет доступ к наименованиям типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка, и метаданные используют в качестве входных значений для системы нейронной сети, генерирующей наименование сорняка совместно с вероятностью для одного или нескольких типов сорняков, и

- получение определенных при указанном дальнейшем исследовании наименования сорняка для сорняка захваченного изображения, а также связанного значения вероятности, отображающего вероятность совпадения между наименованием сорняка и сорняком захваченного цифрового изображения.

2. Способ по п. 1, причем способ также включает в себя:

- показ цифрового изображения совместно с наименьшей предопределенной выпуклой рамкой, охватывающей оконтуренные области,

- показ значения индикатора совместно с цифровым изображением и наименьшей предопределенной выпуклой рамкой, причем индикатор показывает предопределенный критерий качества цифрового изображения на основании:

- выявления того, что наименьшая предопределенная выпуклая рамка покрывает предопределенную минимальную область доступной области отображения, и

- измерения положительного выходного значения детектора фокусировки относительно оконтуренных областей, причем положительное выходное значение относится к четкости изображения области цифрового изображения, относящейся к оконтуренной области,

- сохранение цифрового изображения только в том случае, когда значение индикатора указывает на то, что цифровое изображение соответствует предопределенному критерию качества.

3. Способ по п. 1 или 2, причем способ также включает в себя:

- сброс информации о цвете цифрового изображения вне предопределенной выпуклой рамки и/или

- сброс информации о цвете областей цифрового изображения вне связанного граничного контура.

4. Способ по одному из предшествующих пунктов, причем предопределенная характеристика цвета относится к цветовому диапазону сорняка в естественной среде, прежде всего к зеленому цветовому диапазону с длиной волны от 490 до 575 нм.

5. Способ по одному из предшествующих пунктов, причем оконтуривание областей с предопределенной характеристикой цвета и структуры выполняют путем выявления для каждого пикселя цифрового изображения того, соответствует ли комбинация его цветовых компонентов одной из множества предопределенных цветовых комбинаций.

6. Способ по одному из предшествующих пунктов, причем оконтуривание областей с предопределенной характеристикой цвета выполняют дополнительно путем выявления:

wi = F (pi, pi,j), где

wi = 1 или 0 указывает на то, что пиксель i принадлежит или не принадлежит сорняку,

F является функцией, вычисляющей вероятность для сорняка или не сорняка, на основе цветовых атрибутов pi и всех pj,

pi = пиксель i,

pi,j = комбинированные пиксели j, которые окружают пиксель i.

7. Способ по одному из пп. 2-6, причем индикатор реализован в виде цветового кода предопределенной выпуклой рамки.

8. Способ по одному из пп. 2-7, причем захваченное цифровое изображение имеет более низкое разрешение, чем сохраненное цифровое изображение.

9. Способ по одному из пп. 2-8, причем сохранение цифрового изображения также включает в себя выполнение видеозахвата того же цифрового изображения в более высоком разрешении, чем первоначально захваченное цифровое изображение, а также выполнение оконтуривания и измерения положительного выходного значения детектора фокусировки с использованием цифрового изображения с более высоким разрешением.

10. Способ по одному из пп. 2-9, причем измерение положительного выходного значения детектора фокусировки включает в себя:

- применение фильтра преобразования Лапласа к цифровому изображению в градациях серого, которое получено из цифрового изображения, причем стандартное отклонение интенсивности в градациях серого определяется для пикселей, лежащих в пределах области, покрываемой оконтуренными областями, причем коэффициент резкости получен в виде квадрата стандартного отклонения.

11. Способ по одному из предшествующих пунктов, причем в случае, когда сорняк является односемядольным растением, видеозахват цифрового изображения выполняют при плоскости цифрового изображения, расположенной параллельно продольной протяженности односемядольного растения, плюс/минус предопределенный первый угол отклонения, и/или

причем в случае, когда сорняк является двусеменодольным растением, видеозахват цифрового изображения выполняют при плоскости цифрового изображения, расположенной параллельно охватывающей сорняк естественной среде, плюс/минус предопределенный второй угол отклонения, и/или при проекции сорняка в середину устройства видеозахвата изображения.

12. Способ выбора конкретного гербицида с помощью способа по любому из пп. 1-11, причем наименование гербицида выбирают из базы данных и получают совместно с наименованием сорняка и вероятностью.

13. Система для распознавания типа сорняка в естественной среде среди возделываемой культуры, причем сорняк находится на ранней стадии развития, причем система распознавания содержит:

- цифровой фотоаппарат, выполненный для видеозахвата цифрового изображения сорняка в естественной среде,

- модуль оконтуривания, выполненный для оконтуривания в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей относящиеся к сорняку пиксели в пределах границы,

- передатчик, выполненный для передачи цифрового изображения для дальнейшего исследования, включающего в себя применение к захваченному цифровому изображению по меньшей мере одной обучаемой корреляционной функции классификатора, включающей в себя классификаторы нейронной сети и объектно-ориентированные идентификаторы как для сорняка, так и для отдельных листьев, для распознавания сорняка, причем корреляционная функция имеет доступ к наименованиям типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка, и метаданные используют в качестве входных значений для системы нейронной сети, генерирующей наименование сорняка совместно с вероятностью для одного или нескольких типов сорняков, и

- приемник, выполненный для получения определенных при указанном дальнейшем исследовании наименования сорняка для сорняка захваченного изображения, а также связанного значения вероятности, отображающего вероятность совпадения между наименованием сорняка и сорняком захваченного цифрового изображения.

14. Система по п. 13, причем система содержит:

- дисплей, выполненный для показа цифрового изображения совместно с наименьшей предопределенной выпуклой рамкой, охватывающей оконтуренные области, причем дисплей также выполнен для показа значения индикатора совместно с цифровым изображением и наименьшей предопределенной выпуклой рамкой, и причем индикатор показывает предопределенный критерий качества цифрового изображения на основании:

- выявления того, что наименьшая предопределенная выпуклая рамка покрывает предопределенную минимальную область доступной области отображения, и

- измерения положительного выходного значения детектора фокусировки относительно оконтуренной области, причем положительное выходное значение относится к четкости изображения области цифрового изображения, относящейся к оконтуренной области,

- систему хранения данных, выполненную для сохранения цифрового изображения только в том случае, когда значение индикатора указывает на то, что цифровое изображение соответствует предопределенному критерию качества.

15. Система по п. 13 или 14, причем система содержит модуль сброса, выполненный для:

- сброса информации о цвете цифрового изображения вне предопределенной выпуклой рамки, и/или

- сброса информации о цвете областей цифрового изображения вне связанного граничного контура.

16. Машиночитаемый информационный носитель с реализованными в нем программными командами, выполняемыми посредством одного или нескольких вычислительных устройств для распознавания типа сорняка, находящегося на ранней стадии развития, в естественной среде среди возделываемой культуры путем:

- захвата цифрового изображения сорняка в естественной среде,

- оконтуривания в цифровом изображении областей с предопределенной характеристикой цвета и структуры в RGB-цветовой модели с образованием по меньшей мере одной оконтуренной области, содержащей относящиеся к сорняку пиксели в пределах граничного контура,

- показа цифрового изображения совместно с наименьшей предопределенной выпуклой рамкой, охватывающей оконтуренные области,

- показа значения индикатора совместно с цифровым изображением и наименьшей предопределенной выпуклой рамкой, причем индикатор показывает предопределенный критерий качества цифрового изображения,

- передачи цифрового изображения для дальнейшего исследования, включающего в себя применение к захваченному цифровому изображению по меньшей мере одной обучаемой корреляционной функции классификатора, включающей в себя классификаторы нейронной сети и объектно-ориентированные идентификаторы как для сорняка, так и для отдельных листьев, для распознавания сорняка, причем корреляционная функция имеет доступ к наименованиям типов сорняков совместно с множеством наборов метаданных для каждого типа сорняка, и метаданные используют в качестве входных значений для системы нейронной сети, генерирующей наименование сорняка совместно с вероятностью для одного или нескольких типов сорняков, и

- получения определенных при указанном дальнейшем исследовании наименования сорняка для сорняка захваченного изображения, а также связанного значения вероятности, отображающего вероятность совпадения между наименованием сорняка и сорняком захваченного цифрового изображения.

17. Машиночитаемый информационный носитель по п. 16, причем программные команды при их выполнении посредством одного или нескольких вычислительных устройств обеспечивают:

- показ цифрового изображения совместно с наименьшей предопределенной выпуклой рамкой, охватывающей оконтуренные области,

- показ значения индикатора совместно с цифровым изображением и наименьшей предопределенной выпуклой рамкой, причем индикатор показывает предопределенный критерий качества цифрового изображения на основании:

- выявление того, что наименьшая предопределенная выпуклая рамка покрывает предопределенную минимальную область доступной области отображения,

- измерение положительного выходного значения детектора фокусировки относительно оконтуренных областей, причем положительное выходное значение относится к четкости изображения области цифрового изображения, относящейся к оконтуренной области,

- сохранение цифрового изображения только в том случае, когда значение индикатора указывает на то, что цифровое изображение соответствует предопределенному критерию качества.

18. Машиночитаемый информационный носитель по п. 16 или 17, причем программные команды при их выполнении посредством одного или нескольких вычислительных устройств обеспечивают:

- сброс информации о цвете цифрового изображения вне предопределенной выпуклой рамки, и/или

- сброс информации о цвете областей цифрового изображения вне связанного граничного контура.