МОНИТОРИНГ КАЧЕСТВА ЗЕРНА Российский патент 2020 года по МПК G06K9/00 G06T7/00 G06T7/12 

Уровень техники

[0001] Цена насыпи зерна может зависеть от качества насыпи зерна. Высококачественное зерно отличается высоким процентным содержанием чистого цельного зерна и низким процентным содержанием дробленого зерна и примесей в зерне (MOG). Мониторинг качества насыпи зерна часто является трудным и подверженным ошибкам.

Краткое описание чертежей

[0002] Фиг. 1 это схематичный чертеж примерной системы мониторинга качества зерна.

[0003] Фиг. 2 это блок-схема последовательности операций примерного способа мониторинга качества зерна.

[0004] Фиг. 3A иллюстрирует примерное изображение насыпи зерна.

[0005] Фиг. 3B-3E иллюстрируют применение различных выделителей признаков к изображению насыпи зерна на фиг. 3A.

[0006] Фиг. 4 это вид сбоку примерного зерноуборочного комбайна, включающего в себя примерную систему мониторинга качества зерна.

[0007] Фиг. 5 это чертеж, иллюстрирующий примерные аппаратные средства системы мониторинга качества зерна зерноуборочного комбайна на фиг. 4.

[0008] Фиг. 6 это блок-схема системы мониторинга качества зерна на фиг. 5.

[0009] Фиг. 7A-7C это изображения, иллюстрирующие наполнение обводного канала уборочной машины на фиг. 4.

[00010] Фиг. 8 это блок-схема другой примерной системы мониторинга качества зерна.

[00011] Фиг. 9A-9C это изображения, иллюстрирующие обнаружение перекрывания изображения насыпи зерна.

[00012] Фиг. 10A это примерное изображение насыпи зерна.

[00013] Фиг. 10B это изображение, иллюстрирующее сегментацию изображения насыпи зерна на фиг. 10A.

[00014] Фиг. 11A это изображение, иллюстрирующее сегментацию изображения насыпи зерна на фиг. 10A и применение первого выделителя признаков, чтобы выделять первые признаки сегментов.

[00015] Фиг. 11B это изображение, иллюстрирующее сегментацию изображения насыпи зерна на фиг. 10A и применение второго выделителя признаков, чтобы выделять вторые признаки сегментов.

[00016] Фиг. 12 это пример изображения насыпи зерна пшеницы с маркированным классом материала.

[00017] Фиг. 13 это пример изображения насыпи зерна кукурузы с маркированным классом материала.

[00018] Фиг. 14 это пример изображения насыпи зерна соевых бобов с маркированным классом материала.

[00019] Фиг. 15 это пример изображения насыпи зерна канолы с маркированным классом материала.

[00020] Фиг. 16 это график примерной функции калибровки, линейной кривой, сопоставляющей совокупность вероятностей из множества образцов изображений для класса материала в изображении насыпи зерна с процентным отношением по весу для класса материала.

[00021] Фиг. 17 это блок-схема последовательности операций примерного способа для формирования функции калибровки, чтобы преобразовывать вероятности класса в весовые проценты класса.

[00022] Фиг. 18 это блок-схема последовательности операций примерного способа мониторинга качества зерна.

Подробное описание примеров

[00023] Фиг. 1 схематично иллюстрирует примерную систему 20 мониторинга качества зерна. Как будет описано позже в данном документе, система 20 точно оценивает или определяет качество насыпи зерна. Система 20 содержит источник 24 изображений насыпи зерна, процессор 28, контроллер 32, дисплей 36 и память 40. Источник изображений насыпи зерна содержит одно или более устройств, сконфигурированных, чтобы захватывать, по меньшей мере, одно изображение насыпи зерна для анализа посредством системы 20 в определении качества зерна. В одной реализации "насыпь зерна" ссылается на массу собранного продукта, который, когда чистый, включает в себя только зерно конкретного предназначенного собираемого урожая, но который, когда не чистый, дополнительно включает в себя некоторую часть дробленого зерна, покрытого кожицей зерна, необмолоченного зерна предназначенного урожая, зерно непредназначенных растений, таких как сорняки или самосевные растения, и/или другие незерновые элементы, такие как соломенная сечка, шелуха, ветки, исходный материал, комья земли, стебли, стручки, грязь или другие инородные вещества. В одной реализации камера, такая как оптическая камера или инфракрасная камера, захватывает, по меньшей мере, одно изображение насыпи зерна.

[00024] В одной реализации источник 24 изображений насыпи зерна содержит камеру, установленную или поддерживаемую посредством части зерноуборочного оборудования, такого как уборочная машина. Например, в одной реализации, источник 24 изображений насыпи зерна содержит камеру, установленную вдоль зерноэлеватора уборочной машины, и/или камеру, установленную вдоль колосового элеватора уборочной машины. В другой реализации источник 24 изображений насыпи зерна содержит камеру, установленную вдоль зернового бункера уборочной машины. В еще одной реализации источник 24 изображений насыпи зерна устанавливается в других местоположениях уборочной машины, вдоль которых убираемое зерно транспортируется или собирается.

[00025] В еще одних реализациях источник 24 изображений насыпи зерна содержит камеру, установленную или поддерживаемую, чтобы захватывать изображения насыпи зерна в других местоположениях, где насыпь зерна транспортируется или собирается. Например, в одной реализации, источник 24 изображений насыпи зерна содержит камеру, установленную вдоль элеватора или конвейера или вдоль внутренней накопительной емкости для зерна или бункера транспортного средства для перевозки зерна, зернохранилища или другого местоположения накопления зерна. Источник 24 изображений насыпи зерна выводит сигналы, представляющее изображение, которые принимаются процессором 28.

[00026] Процессор 28 содержит, по меньшей мере, один блок обработки, сконфигурированный, чтобы анализировать изображения насыпи зерна, полученные от источника 24, и предоставлять выходные данные на основе такого анализа. В целях этой заявки выражение "блок обработки" должно означать разработанный в настоящее время или разработанный в будущем блок обработки, который выполняет последовательности инструкций, содержащихся в памяти. Выполнение последовательности инструкций инструктируют блоку обработки выполнять этапы, такие как формирование управляющих сигналов. Инструкции могут быть загружены в оперативное запоминающее устройство (RAM) для выполнения посредством блока обработки из постоянного запоминающего устройства (ROM), запоминающего устройства большой емкости или некоторого другого постоянного хранилища. В других вариантах осуществления аппаратная схема может использоваться вместо или совместно с программными командами для реализации описанных функций. Например, в других реализациях, процессор 28 осуществлен как часть одной или более специализированных интегральных схем (ASIC). Пока специально не отмечено иное, контроллер не ограничен ни какой-либо конкретной комбинацией аппаратных схем и программного обеспечения, ни каким-либо конкретным источником инструкций, исполняемых посредством блока обработки.

[00027] Контроллер 32 содержит один или более блоков обработки, сконфигурированных, чтобы выводить управляющие сигналы, управляющие работой части оборудования по обработке зерна. Например, в одной реализации, контроллер 32 выводит управляющие сигналы, которые управляют и регулируют рабочие параметры части уборочного оборудования. В одной реализации контроллер 32 управляет одним или более операционными параметрами зерноуборочного комбайна. Например, контроллер 32 выводит управляющие сигналы, регулирующие пространство подбарабанья, скорость конвейера и/или скорость вентилятора зерноуборочного комбайна. В другой реализации контроллер 32 управляет одним или более рабочими параметрами системы транспортировки зерна, при этом зерно выборочно транспортируется в одно из множества различных доступных местоположений или действует в ответ на сигналы от контроллера 32. Например, в зависимости от уровня качества зерна, который указан посредством системы 20, контроллер 32 выборочно включает и выключает различные конвейеры, чтобы транспортировать зерно в различные местоположения, такие как различные местоположения назначения для отсева зерна или фильтрующих операций или различного использования зерна.

[00028] Дисплей 36 содержит одно или более устройств, посредством которых информация, касающаяся качества зерна, визуально отображается. Например, в одной реализации, дисплей 36 содержит последовательность светоизлучающих диодов, которые предоставляют предупреждения или уведомления, касающиеся качества зерна. В другой реализации дисплей 36 содержит экран дисплея, такой как сенсорный экран. В одной реализации дисплей 36 дополнительно содержит динамики или другие акустические устройства, посредством которых информация сообщается. В одной реализации дисплей 36 предусмотрен в кабине части зерноуборочного оборудования, чтобы указывать качество зерна оператору во время уборки зерна. В другой реализации дисплей 36 предусмотрен дистанционно от уборочной машины, например, когда уборка управляется дистанционно, или, например, когда качество зерна проверяется дистанционным менеджером.

[00029] Память 40 содержит энергонезависимый компьютерно-читаемый носитель, содержащий программную логику в форме кода, программного обеспечения, схем или инструкций, которые управляют работой процессора 28. Память 40 дополнительно служит в качестве устройства постоянного хранения, посредством которого данные сохраняются. Хотя память 40 иллюстрирована как единственная память, в других реализациях, память 40 распределена между множеством запоминающих устройств или местоположений хранения, например, по локальной вычислительной сети или глобальной вычислительной сети.

В иллюстрированном примере память 40 содержит программные модули, которые выполняют анализ качества зерна и которые предоставляют прямой вывод данных на основе результатов такого анализа. В иллюстрированном примере память 40 содержит модуль 48 захвата изображения, модуль 50 признаков, модуль 54 классификации, модуль 56 определения качества, фрагмент 58 сохранения данных и модуль 62 вывода.

[00030] Модуль 48 захвата изображения, модуль 50 признаков, модуль 54 классификации, модуль 56 определения качества, фрагмент 58 сохранения данных и модуль 62 вывода, каждый, содержат программную логику, чтобы управлять процессором 28 в реализации способа 100, кратко изложенного на фиг. 2. Как указано посредством блока 102 на фиг. 2, модуль 48 захвата изображения инструктирует процессору 28 принимать или иначе получать изображение насыпи зерна из источника 24 изображения насыпи зерна. В одной реализации модуль 48 захвата изображения инструктирует процессору 28 выполнять один или более процессов по изображению насыпи зерна, принятому из источника 24, чтобы улучшать качество изображения. В одной реализации модуль 48 захвата изображения дополнительно инструктирует процессору 28 выводить управляющие сигналы, управляющие источником 24 изображений насыпи зерна при захвате изображения насыпи зерна.

[00031] Как указано посредством блока 104 на фиг. 2, модуль 50 признаков инструктирует процессору 28 применять выделитель признаков к и по изображению насыпи зерна, чтобы выделять или вычислять признак насыпи зерна, в целом, по изображению, независимо от границ каких-либо частиц или границ зерна в изображении, так, чтобы идентифицировать изменения в признаке по области изображения насыпи зерна. Признак изображения насыпи зерна является характеристикой или аспектом изображения насыпи зерна. Как будет описано далее в данном документе, в некоторых реализациях, один или более выделителей признаков могут быть дополнительно применены к сегментам, основанным на конкретных идентифицированных границах или границах зерна, изображения насыпи зерна.

[00032] Фиг. 3A иллюстрирует примерное изображение 120 насыпи зерна. Как показано посредством фиг. 3A, изображение 120 насыпи зерна содержит двухмерное изображение, составленное из двухмерного массива пикселов изображения. В иллюстрированном примере пиксел является наименьшим адресуемым элементом. Каждый пиксел изображения насыпи зерна имеет ассоциированный набор характеристик или признаков, основанных на исходной насыпи зерна, с которой изображение было захвачено.

[00033] Как показано посредством фиг. 3B-3E, применение различных примерных выделителей признаков к изображению 120 насыпи зерна создает характеристические изображения 122, 124, 126 и 130. Каждое характеристическое изображение 122, 124, 126 и 130 основано на исходном изображении 120 насыпи зерна за исключением того, что выбранный признак изображения, ассоциированный с каждым пикселом, отделяется или отфильтровывается от остальных признаков, ассоциированных с каждым пикселом. Признак, который отфильтрован посредством фильтра или блока выделения признаков, будет иметь различные значения в различных местоположениях или пикселах по характеристическому изображению 122, 124, 126 и 130. Такие значения могут изменяться на попиксельной основе, или группы соседних пикселов могут иметь одинаковое значение для конкретного признака.

[00034] В иллюстрированном примере фиг. 3B иллюстрирует применение цветного фильтра к изображению на фиг. 3A, чтобы формировать характеристическое изображение 122. Фиг. 3C иллюстрирует применение другого цветного фильтра к изображению на фиг. 3A, чтобы формировать характеристическое изображение 124. Фиг. 3D иллюстрирует применение фильтра интенсивности с более крупным масштабом к изображению на фиг. 3A, чтобы формировать характеристическое изображение 126. Фиг. 3E иллюстрирует применение фильтра дискретного косинусного преобразования к изображению на фиг. 3A, чтобы формировать характеристическое изображение 130. Примеры выделителей признаков включают в себя, но не только, фильтры интенсивности/цвета с различными масштабами, изменение интенсивности/цвета при различных масштабах, детекторы контуров, детекторы углов, фильтры Хаара, фильтры Габора, вейвлет-фильтры, дискретное косинусное преобразование, быстрое преобразование Фурье, фильтры текстур, гистограмму ориентированных градиентов (HOG), дескрипторы ключевых точек и свертывание с помощью наборов групп фильтров. В одной реализации модуль 50 признаков инструктирует процессору 28 применять множество выделителей признаков, чтобы выделять множество признаков или наборов признаков насыпи зерна в изображении насыпи зерна.

[00035] Как указано посредством блока 106 на фиг. 2, модуль 54 классификации инструктирует процессору 28 отбирать значения, по меньшей мере, для одного признака в различных выбранных или отобранных местоположениях изображения насыпи зерна. В иллюстрированном примере фиг. 3A иллюстрирует пять примерных местоположений 132A, 132B, 132C, 132D и 132E выборки. В одной реализации местоположения выборки, для которых значения, по меньшей мере, для одного признака отобраны, случайным образом выбираются посредством модуля 54 классификации. В одной реализации случайный выбор местоположений выборки посредством модуля 54 классификации является неограниченным. В другой реализации выбор местоположений выборки посредством модуля 54 классификации осуществляется в соответствии с одним или более предварительно определенными ограничивающими условиями или ограничениями. Например, в одной реализации, местоположения выборки случайным образом выбираются при условии, что выбранные местоположения выборки удовлетворяют предварительно определенному распределению по образцу изображения насыпи зерна. В одной реализации местоположения выборки случайным образом выбираются при условии, что выбранные местоположения выборки имеют минимальный интервал друг от друга, имеют максимальный интервал друг от друга или находятся в пределах предварительно определенного диапазона интервалов друг от друга. В другой реализации местоположения выборки выбираются случайным образом, но при этом каждая зона или фрагмент изображения насыпи зерна, такой как каждый квадрант, содержат предварительно определенное минимальное число местоположений выборки или содержат не больше чем предварительно определенное максимальное число местоположений выборки.

[00036] В другой реализации местоположения выборки предварительно определены или предварительно выбраны посредством модуля 54 классификации. Например, в одной реализации, модуль 54 классификации инструктирует процессору 28 анализировать значения, по меньшей мере, для одного признака в предварительно определенных местоположениях выборки согласно предварительно определенному шаблону мест. Например, в одной реализации, модуль 54 классификации извлекает и анализирует значения, по меньшей мере, для одного признака из каждого второго пиксела изображения 120 насыпи зерна, из каждого четвертого пиксела изображения 120 насыпи зерна или т.п. При наличии достаточной вычислительной способности, такой как скорость, в одной реализации, модуль 54 классификации инструктирует процессору 28 анализировать значения, по меньшей мере, для одного признака из всех до единого пикселов изображения 120 насыпи зерна.

Однако, чтобы уменьшать нагрузку обработки и время обработки для анализа качества зерна, модуль 54 классификации инструктирует процессору 28 извлекать и использовать значения, по меньшей мере, для одного признака только из выбранных местоположений выборки или пикселов, или доли из общего числа пикселов, изображения 120 насыпи зерна.

[00037] В каждом из местоположений 132 выборки модуль 54 классификации инструктирует процессору 28 определять, на основе значения для признака в местоположении выборки или на основе значения для каждого из признаков в местоположении выборки, балл классификации. Модуль 54 классификации берет признак или набор признаков в качестве входных данных и создает балл классификации в качестве выходных данных, которые представляют, насколько вероятно эти входные признаки должны принадлежать к интересующему классу. Например, в одной реализации, модуль 54 классификации инструктирует процессору 28 определять балл классификации для представления конкретной классификации, такой как масса, отличная от зерна (MOG), в конкретном местоположении 132A выборки. В одной реализации определение вероятности для представления конкретной классификации, такой как MOG, в конкретном местоположении 132A выборки определяется на основе значения для единственного признака в местоположении 132A выборки. Например, в одной реализации, модуль 54 классификации определяет балл классификации для представления MOG, местоположение 132A выборки основано на значении для признака в соответствующем местоположении 132A выборки в одном из характеристического изображения 122, характеристического изображения 124, характеристического изображения 126, характеристического изображения 130 или другого характеристического изображения извлеченных значений признака для другого конкретного признака. В другой реализации модуль 54 классификации определяет балл классификации для представления MOG в конкретном местоположении 132A выборки на основе значения каждого из множества признаков в местоположении 132A выборки. Например, в одной реализации, модуль 54 классификации определяет балл классификации для представления MOG в конкретном местоположении 132 выборки на основе значения для первого признака в соответствующем местоположении 132A выборки в характеристическом изображении 122 и дополнительно на основе значения для второго признака в соответствующем местоположении 132A выборки в характеристическом изображении 124. В еще одних реализациях балл классификации для представления конкретной классификации в конкретном местоположении выборки основан на значении более чем двух признаков в конкретном местоположении выборки.

[00038] Как дополнительно показано посредством фиг. 3A, модуль 54 классификации инструктирует процессору 28 определять балл классификации, как описано выше, для конкретной классификации в каждом из множества различных местоположений выборки. Например, модуль 54 классификации (1) определяет первый балл классификации для представления конкретной классификации материала, такой как MOG, в местоположении 132A выборки, (2) определяет второй балл классификации для представления той же конкретной классификации материала, такой как MOG, в местоположении 132B выборки, (3) определяет третий балл классификации для представления той же конкретной классификации, такой как MOG, в местоположении 132C выборки, и т.д. для каждого местоположения выборки. Хотя фиг. 3A иллюстрирует пять местоположений 132 выборки, в других реализациях модуль 54 классификации может определять балл классификации в большем или меньшем числе таких местоположений выборки.

[00039] В одной реализации модуль 54 классификации инструктирует процессору 28 определять балл классификации для каждой из множества различных классификаций материала в каждом местоположении 132 выборки. Например, в одной реализации, модуль 54 классификации назначает каждому местоположению выборки балл классификации для каждой из множества различных классификаций. В иллюстрированном примере балл классификации содержит значение вероятности. Например, модуль 54 классификации может назначать местоположению выборки вероятность x% того, что выборка изображения изображает первую классификацию материала, и вероятность z% того, что местоположение выборки изображает вторую классификацию материала и т.д., при этом сумма вероятностей не превышает 100%. Например, в одной реализации, модуль 54 классификации инструктирует процессору 28 определять вероятность представления первой классификации материала, такой как дробленое зерно, в местоположении выборки, а также вероятность представления второй другой классификации материала, такой как MOG, тяжелых MOG или легких MOG, в том же местоположении выборки. В других реализациях балл классификации, определенный посредством модуля 54 классификации, содержит вероятность, процент, расстояние от поверхности решений, двоичный вывод, вывод из искусственной нейронной сети, вывод из глубокой сверточной нейронной сети или любое из многих других выходных значений классификатора.

[00040] В одной реализации, каждое местоположение выборки содержит индивидуальный пиксел, наименьший адресуемый блок, изображения 120 насыпи зерна, при этом значение для признака индивидуального пиксела изображения насыпи зерна, или при этом значение каждого признака из набора признаков индивидуального пиксела изображения насыпи зерна, используется, чтобы определять вероятность представления конкретной классификации материала в индивидуальном пикселе, служащем в качестве местоположения выборки.

[00041] В других реализациях местоположение выборки альтернативно содержит предварительно определенный набор пикселов, при этом значение для признака каждого из индивидуальных пикселов набора, или при этом значение каждого признака из набора признаков каждого из индивидуальных пикселов набора, коллективно используются, чтобы определять вероятность представления конкретной классификации материала в местоположении выборки. Например, в одной реализации, местоположение выборки определяется как набор из четырех соседних пикселов, при этом каждое из четырех значений для одного признака из четырех соседних пикселов используется, чтобы определять вероятность представления конкретного зерна или классификации убранного продукта в местоположении выборки. Например, в одной реализации, медианное, среднее, максимальное, минимальное или другое статистическое значение, полученное из четырех значений для одного признака из четырех соседних пикселов, используется, чтобы определять вероятность представления конкретной классификации материала в местоположении выборки. В другой реализации медианное, среднее, максимальное, минимальное или другое статистическое значение, полученное из четырех значений для четырех соседних пикселов для каждого из множества признаков, используется, чтобы определять вероятность представления конкретной классификации материала в местоположении выборки.

[00042] В одной реализации модуль 54 классификации определяет вероятность представления конкретной классификации в местоположении выборки, обращаясь к предварительно определенной справочной таблице, содержащей различные значения для различных признаков и различные вероятности для различных классификаций материалов, соответствующие различным значениям для различных признаков. В одной реализации записи о вероятностях в справочной таблице формируются посредством получения множества образцов зерна, захвата изображения каждого из множества образцов зерна, применения выделителя признаков к каждому из изображений, чтобы выделять признак в каждом из изображений, измерения признака в каждом из изображений, чтобы определять значение для признака, и определения фактического состава или классификации материала в образце зерна посредством маркировки изображения образца зерна или посредством просеивания или фильтрации через каждый из фактических образцов зерна. На основе данных, полученных из такого процесса, выполненного по множеству образцов зерна, вероятности того, что конкретные значения признаков соответствуют конкретной классификации материала, идентифицируются для заполнения справочной таблицы.

[00043] В другой реализации модуль 54 классификации применяет один или более алгоритмов к значению для выделенного признака, или к значениям для множества выделенных признаков, чтобы определять вероятность того, что образец изображения соответствует классификации материала. В такой реализации один или более алгоритмов созданы образом, аналогичным вышеописанному процессу, использованному для заполнения вышеописанной справочной таблицы.

В частности, математическое соотношение между различными значениями для выделенного признака, или для множества выделенных признаков образца изображения, и вероятностью того, что образец изображения изображает конкретную классификацию материала, определяется посредством взятия множества образцов зерна, захвата изображения каждого из множества образцов зерна, применения фильтра к каждому из изображений, чтобы определять значение для признака, и определения фактического состава или классификации материала в образце зерна посредством маркировки изображения образца зерна или посредством просеивания или фильтрации через каждый из фактических образцов зерна.

[00044] В иллюстрированном примере модуль 54 классификации функционирует в одном из различных режимов, выбираемых пользователем системы 20, при этом система 20 анализирует насыпь зерна на предмет различных классификаций материала. Например, в одном режиме работы, система 20 классификации анализирует насыпь зерна на предмет единственной классификации материала. В другом режиме работы система 20 анализирует насыпь зерна на предмет каждой из множества различных классификаций материала, выбранных пользователем системы 20. Примеры различных классификаций материала, для которых модуль 54 классификации выполняет прогнозирование относительно каждого отдельного образца изображения, включают в себя, но не только, одно или более из следующего:

один или более диапазонов, относящихся к примесям зерна (MOG), такие как легкие MOG, тяжелые MOG или другие более конкретные классификации материала, такие как шелуха, дробленое зерно, ветки, исходный материал, комья, стебли, стручки, необмолоченное зерно, покрытое кожицей зерно и чистое зерно. В других реализациях модуль 54 классификации может прогнозировать другие классификации материала в зависимости от конкретного типа зерна и конкретного растения, с которого зерно собирается.

[00045] Как указано посредством блока 108 на фиг. 2, модуль 56 определения качества направляет процессор 28 в определении качества зерна для зерна, представленного посредством изображения насыпи зерна, принятого из источника 24 изображения насыпи зерна. Модуль 56 определения качества преобразует вероятности местоположений выборки в общую оценку качества зерна, включающую в себя оценки величины каждой интересующей классификации материала. Модуль 56 определения качества определяет и выводит сигнал или сигналы, указывающие качество зерна, для изображения насыпи зерна на основе совокупности вероятностей различных местоположений выборки для конкретной классификации материала. В одной реализации модуль 56 определения качества выполняет статистическую операцию по вероятностям, при этом результирующее значение из статистической операции используется, чтобы выводить значение, указывающее, какой процент материала, изображенного в изображении 120 насыпи зерна, является конкретной классификацией материала, или значения, указывающие, какой процент материала, изображенного в изображении насыпи зерна, является первой классификацией материала, какой процент материала, изображенного в изображении насыпи зерна, является второй классификацией материала, и т.д.

Например, в одном сценарии, модуль 56 определения качества может выводить значение, указывающее, что 70% материала, изображенного в изображении 120 насыпи зерна, составляет чистое зерно, 20% материала, изображенного в изображении насыпи зерна, составляет дробленое зерно, и 10% материала, изображенного в изображении насыпи зерна, составляют MOG. В одной реализации модуль 56 определения качества суммирует и усредняет вероятности для каждого класса или классификации материала по всем местоположениям выборки в изображении, чтобы определять, какой процент материала, изображенного в изображении насыпи зерна, составляет конкретную классификацию материала.

[00046] В одной реализации модуль определения качества дополнительно применяет функцию калибровки к результатам, чтобы создавать оценку процентной массы для конкретной классификации материала и/или процентной массы для чистого зерна. В одной реализации модуль 56 определения качества дополнительно применяет временные фильтры к результатам по множеству изображений 120 насыпи зерна, такие как простой взвешенный фильтр движущегося окна. В одной реализации модуль 56 качества дополнительно принимает во внимание перекрывание изображения во временном фильтре. В другой реализации модуль 56 определения качества применяет взвешенный фильтр на основе количества материала, представленного источнику 24 изображений насыпи зерна, как противоположность основанию на времени.

[00047] Обращаясь еще раз к фиг. 1, хранилище 58 данных содержит один фрагмент памяти 40, который хранит результаты диагноза/анализа качества зерна, выполненного посредством системы 20. В одной реализации хранилище 58 данных дополнительно хранит какие-либо базы данных или таблицы данных, используемые модулем 50 признаков, модулем 54 классификации и модулем 56 определения качества. Как отмечено выше, в некоторых реализациях, хранилище 58 данных поддерживается посредством части зерноуборочного оборудования, такого как зерноуборочный комбайн. В других реализациях хранилище 58 данных содержит базу данных удаленно от процессора 28 и/или источника 24 изображения насыпи зерна, при этом результаты передаются в хранилище 58 данных по проводной или беспроводной локальной вычислительной сети или глобальной вычислительной сети.

[00048] Модуль 62 вывода содержит программную логику, содержащуюся в памяти 40 для инструктирования процессору 28 использовать результаты диагностики/анализа качества зерна. В одной реализации модуль 62 вывода отображает результаты диагностики качества зерна в одном или более предварительно заданных или предварительно определенных форматах на дисплее 36. В результате, оператор части зерноуборочного оборудования или оператор/менеджер устройства или средства обработки зерна уведомляется об изменениях в качестве зерна, предоставляя возможность оператору или менеджеру выполнять ручные регулировки в части зерноуборочного оборудования или средстве обработки зерна.

[00049] В одной реализации модуль 62 вывода дополнительно инструктирует процессору 28 сохранять результаты анализа качества зерна в хранилище 58 данных. Например, в одной реализации, в которой такой анализ качества зерна выполняется во время уборки зерна зерноуборочной машиной, модуль 62 вывода может дополнительно получать сигналы с привязкой к географическим координатам, указывающие местоположение в поле, с которого зерно, имеющее конкретное качество зерна, собирается. В одной реализации модуль 62 вывода формирует карты поля, которые указывают качество зерна, собираемого с различных привязанных к местности фрагментов отображенного на карте поля. В одной реализации такая сохраненная информация или сохраненные карты поля с качеством зерна впоследствии используется для корректировки будущих полевых работ. Например, с помощью такой сохраненной информации или сохраненных карт поля с качеством зерна, операции, такие как будущий посев, будущее применение гербицидов, инсектицидов или удобрений, будущая культивация и/или будущие параметры уборки, могут быть откорректированы.

[00050] В одной реализации модуль 62 вывода дополнительно или альтернативно использует результаты анализа/диагностики качества зерна, чтобы выводить сигналы регулировки, которые передаются контроллеру 32 машины. В ответ на прием таких сигналов контроллер 32 машины выводит отрегулированные управляющие сигналы, которые регулируют один или более рабочих параметров зерноуборочного оборудования, такого как зерноуборочный комбайн, в то время как он убирает зерно. Например, в одной реализации, в ответ на обнаружение того, что в настоящий момент присутствует высокий уровень примесей зерна (MOG), уровень выше предварительно определенного порогового значения MOG, модуль 62 вывода инструктирует процессору 28 выводить регулирующие сигналы контроллеру 32, чтобы выводить управляющие сигналы, например, чтобы увеличивать скорость очистного вентилятора, который сдувает соломенную сечку и другое инородное вещество с зерна. В одной реализации, в ответ на обнаружение того, что насыпь зерна содержит высокий уровень дробленого зерна, величиной более предварительно определенного порогового значения, модуль 62 вывода инструктирует процессору 28 выводить регулировочные сигналы контроллеру 32, которые инструктируют контроллеру 32 машины выводить сигналы, чтобы регулировать настройку молотильного компонента, который отделяет зерно от остатков растений, такой как пространство подбарабанья в зерноуборочном комбайне.

[00051] В одной реализации такая регулировка выполняется в реальном времени и выполняется автоматически в ответ на результаты качества зерна. В еще одной реализации регулировка рекомендуется оператору, или регулировка автоматически выполняется в ответ на прием авторизации или подтверждения от оператора. В одной реализации такие регулировки автоматически выполняются только по таким значениям качества зерна, удовлетворяющим предварительно определенному порогу в течение минимального периода времени.

[00052] Фиг. 4-6 иллюстрируют примерную сельскохозяйственную уборочную машину в форме комбайна 200, который включает в себя систему 220 мониторинга качества зерна, примерную реализацию системы 20 мониторинга качества зерна. Как показано посредством фиг. 4, комбайн 200 содержит главную раму 212, имеющую колесную структуру, включающую в себя передние и задние зацепляющие землю колеса 214 и 215, поддерживающие главную раму для движения вперед по полю с урожаем, который должен быть собран. Передние колеса 214 приводятся в движение посредством электронно-управляемой гидростатической трансмиссии.

[00053] Вертикально регулируемая жатка или уборочная платформа 216 используется для уборки урожая и направления его в камеру 218 подавателя. Камера 218 подавателя соединяется с возможностью вращения с рамой 212 и включает в себя конвейер для транспортировки убранного урожая в молотильный барабан 219. Молотильный барабан 219 направляет урожай вверх через впускную переходную секцию 222 в роторный молотильный и отделяющий узел 224. В других реализациях другие ориентации и типы молотильных структур и другие типы жаток 216, такие как поперечная рама, поддерживающая отдельные высевающие секции, используются.

[00054] Роторный молотильный и отделяющий узел 224 обмолачивает и отделяет материал собранного урожая. Зерно и соломенная сечка падают через подбарабанье 225 и отделяющие решетки 223 на дне узла 224 в систему 226 очистки и очищаются посредством сита 227 грубой очистки и решета 228 и воздушного вентилятора 229. Система 226 очистки устраняет сечку и направляет чистое зерно в бункер чистого зерна посредством зернового элеватора 233. Чистое зерно в бункере может быть выгружено в прицеп для зерна или грузовик посредством разгрузочного шнека 230.

Отходы падают в колосовой элеватор или шнек 231 и транспортируются в ротор 237, где они обмолачиваются второй раз.

[00055] Обмолоченная и отделенная солома выгружается из роторного молотильного и отделяющего узла 224 через выпускное отверстие 232 в разгрузочный молотильный барабан 234. Разгрузочный молотильный барабан 234, в свою очередь, выталкивает солому с задней стороны комбайна. Следует отметить, что разгрузочный молотильный барабан 234 может также выгружать примеси в зерне урожая непосредственно в соломоизмельчитель. Работа комбайна управляется из кабины 235 оператора.

[00056] В иллюстрированном примере роторный обмолачивающий и отделяющий узел 224 содержит цилиндрический корпус 236 ротора и ротор 237, находящийся внутри корпуса 236. Передняя часть ротора и корпус ротора определяют секцию 238 подачи.

Ниже по потоку от секции 238 подачи находятся молотильная секция 239, отделяющая секция 240 и разгрузочная секция 241. Ротор 237 в секции 238 подачи снабжен барабаном конического ротора, имеющим спиралевидные подающие элементы для зацепления материала собранного урожая, принятого из молотильного барабана 219 и впускной переходной секции 222. Непосредственно ниже по потоку от секции 238 подачи находится молотильная секция 239.

[00057] В молотильной секции 239 ротор 237 содержит барабан цилиндрического ротора, имеющий множество молотильных элементов для обмолачивания материала собранного урожая, принятого из секции 238 подачи. Ниже по потоку от молотильной секции 239 находится отделяющая секция 240, в которой зерно, захваченное в обмолоченном материале урожая, высвобождается и падает в систему 228 очистки. Отделяющая секция 240 сливается в разгрузочную секцию 241, где материал урожая, отличный от зерна, выбрасывается из роторного молотильного и отделяющего узла 224.

[00058] Консоль 250 оператора, расположенная в кабине 235, включает в себя традиционные органы управления оператора, включающие в себя рычаг 252 гидравлического переключения передач для ручного управления диапазоном скоростей и выходной скоростью гидростатической трансмиссии. Устройство 254 интерфейса оператора в кабине 235 предоставляет возможность ввода информации в контроллер 255, содержащий бортовую процессорную систему, которая обеспечивает автоматическое управление скоростью и многочисленные другие функции управления, описанные ниже для уборочной машины 200. Оператор может вводить различные типы информации в устройство 254 интерфейса оператора, включающие в себя тип урожая, местоположение, урожайность и т.п. В иллюстрированном примере зерноуборочный комбайн 200 дополнительно содержит дисплей 257 для представления информации оператору. В некоторых реализациях дисплей 257 может дополнительно служить в качестве устройства ввода, например, когда дисплей 257 содержит сенсорный экран. В других реализациях дисплей 257 может быть объединен с интерфейсным устройством 254, таким как часть консоли 250.

[00059] Сигналы от датчиков включают в себя информацию о факторах окружающей среды, таких как относительная влажность, и информацию о переменных, управляемых посредством бортовой системы управления. Сигналы включают в себя сигналы скорости транспортного средства от радиолокационного датчика или другого традиционного датчика 260 путевой скорости, сигналы скорости ротора и вентилятора от датчиков 262 и 264, и сигналы очистки подбарабанья и открытия сита грубой очистки и решета от датчиков 266, 268 и 270, соответственно. Дополнительные сигналы исходят от датчика 272a потери зерна на выходе роторного молотильного и отделяющего узла 224 и датчиков 272b потери зерна с левой и правой стороны на выходе системы 226 очистки и различных других устройств датчиков в уборочной машине. Сигналы от датчика 278a массового расхода, датчика 278b влажности зерна, датчика 278c объема отходов, и относительной влажности, температуры и датчиков 278d, 278e и 278f влажности материала также предоставляются.

[00060] Шина направляет сигналы от упомянутых датчиков и монитора скорости двигателя, монитора массового расхода зерна и других микроконтроллеров в уборочной машине к контроллеру 255. Сигналы от интерфейса 254 оператора также направляются к контроллеру 255. Контроллер 255 соединен с актуаторами для управления регулируемыми элементами в уборочной машине. Сигналы обратной связи от актуаторов вводятся в контроллер 255.

[00061] Актуаторы, управляемые контроллером 255, содержат актуатор 280, управляющий скоростью вращения роторного молотильного и отделяющего узла 224, актуатор 282, управляющий очисткой подбарабанья 225, актуатор 284, управляющий открытием устройства предварительной очистки сита 227 грубой очистки, актуатор 286, управляющий шириной открытия сита 227 грубой очистки, актуатор 288, управляющий открытием решета 228, актуатор 290, управляющий скоростью воздушного вентилятора 229, и актуатор 292, управляющий выходной скоростью гидростатической трансмиссии и, таким образом, путевой скоростью комбайна. Эти актуаторы известны в области техники и, таким образом, только схематично указаны на фиг. 3.

[00062] Фиг. 5 и 6 иллюстрируют систему 220 мониторинга качества зерна, примерную реализацию системы 20 мониторинга качества зерна. Система 220 аналогична системе 20 за исключением того, что система 220 специально иллюстрирована как выполняющая способ 100 относительно изображений урожая, транспортируемого и по элеватору 233 для чистого зерна и по колосовому элеватору 231 зерноуборочного комбайна 200, показанного на фиг. 4. Фиг. 5 иллюстрирует один примерный набор аппаратных средств зерноуборочного комбайна 200, который формирует систему 220 мониторинга качества зерна. Как показано посредством фиг. 5, система 220 мониторинга качества зерна содержит источник 294 изображений чистого зерна, источник 296 изображений отходов, анализатор 298 изображения, а также контроллер 255 и дисплей 257 станции оператора, описанные выше. Фиг. 6 схематично иллюстрирует компоненты источника 294 изображений чистого зерна, источник 296 изображений отходов и анализатор 298 изображений.

[00063] Как показано посредством фиг. 5, источник 294 изображений чистого зерна содержит боковой проход или обводной канал 300 вдоль элеватора чистого зерна или конвейера 233, в котором зерно, включающее в себя материал, отличный от зерна, перекачивается, с предварительно определенной скоростью или пропорцией, через обводной канал и через камеру для захвата изображений. В других реализациях источник 294 изображений чистого зерна содержит измерительную камеру, в которую зерно наполняется периодически и удаляется. Как показано посредством фиг. 6, источник 294 изображений чистого зерна дополнительно содержит датчик 308 заполнения обводного канала, контроллер 310 электромотора обводного канала и камеру 312. Датчик 308 заполнения содержит датчик, который выводит сигналы, указывающие наполнение обводного канала 300 (показано на фиг. 5). Контроллер 310 электромотора обводного канала выводит управляющие сигналы, которые управляют электромотором, который извлекает или изымает зерно для выборки из элеватора 233 для чистого зерна, при этом изъятие зерна происходит с предварительно указанным или предварительно определенным соотношением с количеством зерна, транспортируемого посредством элеватора 233, так что изъятый образец соответствует полному объему транспортируемого зерна и точно отражает характеристики всего объема транспортируемого зерна.

Камера 312 содержит цветную камеру, которая захватывает изображения текущего содержимого или материала, наполняющего обводной канал 300, и выводит сигналы изображения, которые передаются анализатору 298 изображения. В других реализациях камера 312 может содержать другие типы камер. В альтернативной реализации изображения от камеры 312 используются посредством модуля 342 определения заполнения, чтобы управлять контроллером 310 электромотора обводного канала, и датчик 308 наполнения обводного канала не нужен.

[00064] Хотя источник 294 изображений чистого зерна иллюстрирован как содержащий обводной канал 300, через который зерно приводится в движение, и вдоль которого камера 312 захватывает изображения насыпи зерна, в других реализациях источник 294 изображений чистого зерна дополнительно или альтернативно предусматривается в других местоположениях, вдоль которых собранное зерно течет в зерновой бункер. Например, в других реализациях, камера 312 альтернативно расположена непосредственно вдоль элеватора 233 вместо обводного канала.

[00065] Источник 296 изображений отходов содержит боковой проход или обводной канал 320 вдоль колосового элеватора или конвейера 231, в котором отходы перекачиваются, с предварительно определенной скоростью или пропорцией, через обводной канал и через камеру для захвата изображений. В других реализациях источник 296 изображений отходов содержит измерительную камеру, в которую зерно наполняется периодически и удаляется. Как показано посредством фиг. 6, источник 296 изображений отходов дополнительно содержит контроллер 322 электромотора обводного канала и камеру 324. Контроллер 322 электромотора обводного канала выводит управляющие сигналы, которые управляют электромотором, который извлекает или изымает зерно для выборки с колосового элеватора 233, при этом изъятие отходов происходит с предварительно указанным или предварительно определенным соотношением с количеством зерна, транспортируемого посредством элеватора 233, так что изъятый образец соответствует полному объему транспортируемого зерна и точно отражает характеристики всего объема транспортируемого зерна. Камера 322 содержит цветную камеру, которая захватывает изображения текущего содержимого или материала, наполняющего обводной канал 320, и выводит сигналы изображения, которые передаются анализатору 298 изображения. В других реализациях камера 324 может содержать другие типы камер.

[00066] Изображения из источника 294 изображения чистого зерна и источника 296 изображения отходов передаются анализатору 298 изображения. Патент США 8,831,292, выданный 9 сентября 2014 года Брюкнеру и др., озаглавленный METHOD AND ARRANGEMENTS FOR THE OPTICAL EVALUATION OF RAHVESTED CROP IN A HARVESTING MACHINE, полное раскрытие которого при этом включено по ссылке, описывает системы 52, 52' распознавания изображения, другие примеры источника 294 изображения чистого зерна и источника 296 изображения отходов.

[00067] Анализатор 298 изображения содержит процессор и ассоциированную программную логику в форме кода, программного обеспечения и/или схем, которые предоставляют инструкции процессору для управления источниками 294, 296 изображения для анализа и обработки данных изображения, принятых из источников 294, 296, чтобы оценивать качество зерна. В одной реализации, аналогичной процессору 28 и памяти 40, описанным выше, анализатор 298 изображения выполняет способ 100. В другой реализации анализатор 298 изображения классифицирует образцы изображения на основе вероятностей, которые основаны на признаках, вычисленных независимо от границ сегмента, и признаках, вычисленных на основе идентифицированных границ сегментов, как будет описано позже в данном документе. Результаты из анализатора 298 изображения передаются контроллеру 255, аналогичному контроллеру 32, чтобы автоматически регулировать один или более рабочих параметров зерноуборочного комбайна 200. В частности, контроллер 255 передает регулировочные сигналы одному или более актуаторам 280, 282, 284, 286, 288, 290 и 292 на основе таких результатов качества зерна. Результаты от анализатора 298 изображения дополнительно передаются дисплею 257 для представления оператору зерноуборочного комбайна 200.

[00068] Как показано посредством фиг. 6, анализатор 298 изображения содержит видеомодуль 340.

Анализатор 298 изображения дополнительно содержит модули 342, 344 определения заполнения и модуль 346, 348 качества зерна для источников 294, 296 изображений, соответственно. Видеомодуль 340 содержит программную логику для приема сигналов изображения от камер 312, 322 и вывода таких изображений на дисплей 257, описанный выше.

[00069] Модули 342, 344 определения наполнения содержат программную логику для анализа изображений, принятых от камер 312, 322, чтобы определять степень, до которой обводные каналы 300, 320 наполнены отобранным зерном или отобранными отходами для анализа. Фиг. 7A-7C иллюстрируют изображения примерного обводного канала 300, по которому течет отобранное или извлеченное зерно, при этом эти чертежи иллюстрируют полное заполнение обводного канала 300. Аналогичный анализ изображения выполняется для хвостового обводного канала 320. На основе степени, до которой обводные каналы 300, 320 наполнены, модули 342, 344 определения заполнения выводят сигналы контроллерам 310, 322 электромоторов обводных каналов, чтобы управлять или регулировать скорость, с которой зерно или отходы извлекаются с элеваторов 233, 231 и транспортируются через обводные каналы 300, 320, соответственно. Такое управление с замкнутым контуром, касающееся заполнения обводных каналов 300, 320, обеспечивает оптимизацию для уровней заполнения для обработки изображения и классификации. В иллюстрированном примере управление контроллера 310 электромотора обводного канала дополнительно основано на сигналах от датчика 308 наполнения обводного канала. В других реализациях датчик 308 наполнения обводного канала опущен, при этом управление контроллера 310 электромотора обводного канала для обводного канала 300 управляется полностью на основе обработки изображения для изображений, принятых от камеры 312.

[00070] Модули 346 и 348 качества зерна содержат программную логику для выполнения способа 100. Как описано выше, каждый из модулей 346, 348 качества зерна принимает изображения от своей ассоциированной камеры 312, 324. Модули 346, 348 качества зерна затем применяют фильтр или блок выделения признаков к таким изображениям, чтобы выделять или вычислять, по меньшей мере, один признак насыпи зерна, изображенной в изображении. Каждый из модулей 346, 348 качества зерна дополнительно отбирает значения, по меньшей мере, для одного признака в различных выбранных или отобранных местоположениях выборки изображения насыпи зерна. Для каждого местоположения выборки модули 346, 348 качества зерна определяют вероятность, по меньшей мере, для одной классификации материала в местоположении выборки на основе выделенного или вычисленного признака или признаков. Модули 346, 348 качества зерна определяют качество насыпи зерна всего изображения на основе совокупностей вероятностей для классификации каждого из множества различных местоположений выборки. Результаты качества затем передаются контроллеру 255 и дисплею 257 (показан на фиг. 5). Как отмечено выше, в другой реализации, анализатор 298 изображения классифицирует образцы изображения с помощью вероятностей классификации, дополнительно основанных на признаках, вычисленных из сегментов изображения, как будет описано далее в данном документе.

[00071] Фиг. 8 схематично иллюстрирует систему 420 мониторинга качества зерна, другую примерную реализацию системы 20 мониторинга качества зерна. Система 420 мониторинга качества зерна аналогична системе 20 мониторинга качества зерна за исключением того, что система 420 мониторинга качества зерна классифицирует образцы изображения дополнительно на основе признаков, вычисленных из сегментов изображения. Хотя система 420 мониторинга качества зерна описывается как определяющая или оценивающая качество зерна с помощью изображений, захваченных из одного источника изображений, такого как источник 294 изображений чистого зерна, описанный выше, в других реализациях система 420 мониторинга качества зерна оценивает качество зерна дополнительно на основе изображений из второго источника изображений, такого как источник 296 изображений отходов, применяя одинаковый анализ изображения к изображениям, захваченным из источника 296 изображений отходов.

[00072] Как показано посредством фиг. 8, система 420 мониторинга качества зерна содержит источник 294 изображений насыпи зерна, анализатор 426 изображения, контроллер 255 и дисплей 257 (контроллер 255 и дисплей 257 показаны на фиг. 4 и 5). Анализатор 426 изображения содержит процессор и ассоциированную программную логику в форме кода, программного обеспечения и/или схем, сохраненных на энергонезависимом компьютерно-читаемом носителе или памяти, которая предоставляет инструкции процессору для управления источником 294 изображений насыпи зерна и для анализа и обработки данных изображения, принятых из источника 294, чтобы оценивать качество зерна.

Анализатор 426 изображения содержит модуль 430 качества зерна, модуль определения перекрывания и наполнения, модуль 434 сегментации, модуль 436 выделения признаков, детектор 438 урожая и сорта, классификатор или модуль 440 классификации и модуль 442 преобразования и фильтрации.

[00073] Модуль 430 качества изображения инструктирует процессор 28 в анализе качества изображений насыпи зерна, принятых из источника 294 изображений. Модуль 430 качества изображения анализирует такие изображения, чтобы идентифицировать или обнаруживать условия, которые могут ухудшать качество таких изображений, такие как плохая фокусировка, плохое освещение, плохой цвет, налипание материала на стеклянном окне, через которое изображения захватываются, грязные пятна на стекле, влага на стекле или грязь на стекле. Выводимые диагностические данные 431 представляются на дисплее 257. В одной реализации, в ответ на определение плохого качества изображения в конкретных областях изображения насыпи зерна, модуль 430 качества изображения предупреждает оператора о таких плохих областях или о степени таких плохих областей, если изображения превышают предварительно определенный порог. В другой реализации модуль 430 качества изображения предпринимает дополнительное восстановительное действие, такое как цифровое маскирование областей плохого качества таких изображений. В некоторых реализациях модуль 430 качества изображения опущен.

[00074] Модуль 432 обнаружения перекрывания и наполнения анализирует изображения насыпи зерна, принятые из источника 294 изображений, чтобы выполнять две основные функции: наблюдение и управление наполнением обводного канала 300 (показано на фиг. 5) и отслеживание движения насыпи зерна через обводной канал 300. Как обсуждалось выше относительно модуля 342 определения наполнения на фиг. 6, модуль 432 анализирует изображения, принятые из источника 294, чтобы определять степень, до которой обводной канал 300 наполнен насыпью зерна. На основе градиентов интенсивности и других характеристик изображения модуль 432 определяет степень, до которой обводной канал 300 наполнен насыпью зерна. Результат выводится в виде сигнала 433 процента заполнения, указывающего процент изображения насыпи зерна, который заполнен насыпью зерна. На основе обнаруженного наполнения обводного канала 300 модуль 432 инструктирует процессору 28 выводить сигналы управления, управляющие работой контроллера 310 электромотора обводного канала. В одной реализации модуль 432 выводит сигналы, когда обводной блок был достаточно наполнен, так что только изображения, полученные, когда обводной канал 300 был достаточно наполнен, используются для анализа качества зерна. В другой реализации модуль 432 идентифицирует незаполненные фрагменты изображения насыпи зерна и выводит сигнал так, что пустые фрагменты изображения насыпи зерна не оцениваются или не обрабатываются.

[00075] Модуль 432 дополнительно отслеживает движение зерна через обводной канал 300, чтобы идентифицировать перекрывание изображений насыпи зерна и избегать двойного подсчета одного и того же образца насыпи зерна. В одной реализации модуль 432 предполагает, в основном, линейное движение насыпи зерна через обводной канал 300 и через камеру 312 (показано на фиг. 6). Модуль 432 анализирует последовательные сообщения и формирует степени корреляции для фрагментов изображений насыпи зерна. На основе степеней корреляции модуль 432 идентифицирует перекрывающиеся фрагменты таких изображений, при этом такие перекрывающиеся фрагменты дважды не подсчитываются. В результате, нагрузка на процессор 28 уменьшается.

[00076] Фиг. 9A-9C иллюстрируют один пример такого отслеживания насыпи зерна. Фиг. 9A иллюстрирует первое изображение 450 насыпи зерна пшеницы, принятое анализатором 298 изображения.

Фиг. 9B иллюстрирует второе изображение 452 насыпи зерна пшеницы, принятое анализатором 298 изображения, при этом изображение 9B содержит старую фракцию 454 и новую фракцию 456. Старая фракция 454 содержит фрагмент изображения, которая уже была захвачена и подверглась или в настоящий момент подвергается анализу. Новая фракция 456 содержит вновь принятую насыпь зерна, которая еще не была ранее захвачена и использована для анализа качества зерна. Модуль 432 сравнивает один или более выбранных фрагментов 460 изображения 450 с фрагментами изображения 452, чтобы идентифицировать те фрагменты различных изображений, которые практически совпадают, так что такие фрагменты изображений считаются перекрывающимися и избыточными. В одной реализации модуль 432 сравнивает различные изображения, чтобы создавать корреляционную диаграмму 464, такую, как показана на фиг. 9C, в которой корреляция указана посредством яркости, и те фрагменты, которые имеют яркость выше предварительно определенного порогового значения, считаются перекрывающимися фрагментами различных изображений. На основе индикаторов корреляции или результатов между фрагментами 460 и 462 модуль 432 идентифицирует движение одного и того же фрагмента зерна, чтобы идентифицировать или оценивать границы между старой фракцией 454 и новой фракцией 456 каждого из изображений насыпи зерна, принятых из источника 294 изображений насыпи зерна. В некоторых реализациях такое обнаружение перекрывания или отслеживание зерна посредством модуля 432 опущено.

[00077] Как указано стрелкой 470, новые фракции 456 изображения насыпи зерна непосредственно анализируются посредством модуля 436 выделения признаков. Как указано стрелкой 472, одинаковые новые фракции 456 изображения насыпи зерна дополнительно сегментируются посредством модуля 434 сегментации перед анализом посредством модуля 436 выделения признаков. Модуль 436 выделения признаков выделяет признаки как из изображения насыпи зерна в целом (как описано выше относительно блока 106 способа 100), так и из сегментов изображения насыпи зерна. В альтернативной реализации все изображение 452 анализируется посредством модуля 436 выделения признаков и сегментируется посредством модуля 434 сегментации вместо только новых фракций 456.

[00078] Модуль 434 сегментации выполняет сегментацию по принятому изображению насыпи зерна. Во время сегментации модуль 434 выполняет обработку изображения или анализ, чтобы оценивать границы отдельных частей, частиц или объектов, называемых сегментами, в изображении насыпи зерна. Фиг. 10A иллюстрирует примерное изображение 476 насыпи зерна пшеницы.

В целях иллюстрации фиг. 10B концептуально иллюстрирует сегментацию изображения 476, чтобы создавать сегментированное изображение 478, идентифицирующее периметр или границы различных объектов 480, пшеницы и отдельных объектов, частей или частиц, отличных от пшеницы, в изображении 476 насыпи зерна. Фиг. 10B концептуально изображает и визуально различает примеры различных сегментов, которые вычислены или идентифицированы посредством модуля 434 сегментации. В одной реализации модуль 434 сегментации отбрасывает те фрагменты изображения 476, которые не идентифицированы как находящиеся в границах периметра сегмента. Как указано стрелкой 479, сегменты, идентифицированные посредством модуля 434 сегментации, передаются модулю 436 выделения признаков для анализа. В другой реализации модуль 434 сегментации идентифицирует те фрагменты изображения 476, которые не идентифицированы как находящиеся в границах периметра сегмента, так что признаки не выделяются из таких несегментированных фрагментов изображения 476.

[00079] Модуль 436 выделения признаков выделяет признаки изображения из изображения насыпи зерна, принятого от модуля 432 обнаружения перекрывания и наполнения, и признаки сегмента из идентифицированных сегментов из того же изображения насыпи зерна, принятого от модуля 434 сегментации. Выделение признаков изображения из изображения насыпи зерна описано выше относительно модуля 50 признаков на фиг. 1; блока 104 на фиг. 2; и примерного выделения признаков изображения, показанного на фиг. 3B-3E выше. Модуль 436 выделения признаков дополнительно выделяет признаки из сегментов в сегментированном изображении насыпи зерна, принятом от модуля 434 сегментации. Фиг. 11A иллюстрирует применение выделителя признаков посредством модуля 436 выделения признаков, чтобы формировать сегментированное изображение 489 насыпи зерна с выделенными признаками, которое иллюстрирует выделенные значения для конкретного признака для каждого из сегментов в изображении 476 насыпи зерна. В иллюстрированном примере сегментация изображения 476 насыпи зерна приводит в результате к идентификации индивидуальных сегментов 486, при этом границы таких сегментов 486 идентифицированы. В иллюстрированном примере модуль 436 выделения признаков применяет выделитель признаков, который основан на вычисленной площади сегмента. Различные значения для выделенных признаков иллюстрируются с различными уровнями яркости в диаграмме на фиг. 11B, при этом индивидуальные сегменты, имеющие значения признаков, попадающие в предварительно определенный ассоциированный диапазон, иллюстрируются с конкретной яркостью.

[00080] Фиг. 11B иллюстрирует применение другого выделителя признаков к идентифицированным сегментам 486 изображения 476 насыпи зерна на фиг. 10A, чтобы формировать сегментированное изображение 491 насыпи зерна с выделенными признаками. В иллюстрированном примере модуль 436 выделения признаков применяет выделитель признаков, который вычисляет контраст интенсивности всех пикселов в изображении 476 насыпи зерна, которые попадают в конкретный сегмент. В сегментированном изображении насыпи зерна с выделенными признаками на фиг. 11B значение контрастности каждого сегмента иллюстрируется посредством различного уровня яркости, при этом те сегменты, которые имеют значения, попадающие в предварительно определенный ассоциированный диапазон, иллюстрируются с конкретной яркостью. Фиг. 11A и 11B иллюстрируют только два примерных выделителя признаков, которые могут применяться к идентифицированным сегментам на основе характеристик сегментов и/или пикселов в сегментах. В других реализациях другие или дополнительные выделители признаков применяются к сегментам, идентифицированным в изображении насыпи зерна. Примеры таких признаков сегмента, которые могут быть извлечены из сегментов изображения насыпи зерна, включают в себя, но не только, округлость, выпуклость, контурную длину, большую и малую оси, минимальную/максимальную яркость в сегменте, поверхность, согласующуюся с интенсивностями в сегменте, и отклонение в яркости и цвете в сегменте. Выделенный признак или признаки из модуля 436 выделения признаков, основанные как на изображении насыпи зерна, так и индивидуальных сегментах, идентифицированных в изображении насыпи зерна, передаются в модуль 438 детектора урожая и сорта и модуля 440 классификации для дополнительного анализа.

[00081] Как показано посредством фиг. 11A и 11B, каждому из отдельных пикселов, содержащихся в границах идентифицированного сегмента, назначается одинаковый набор значений признаков. Например, если выделенный признак содержит форму или размер, характерные для идентифицированного сегмента, такие как площадь сегмента, идентифицированное значение для формы или размера сегмента назначается каждому из пикселов в границах идентифицированного сегмента. В обстоятельствах, когда выделяемый признак основан не только на границах сегмента, но также на характеристиках, которые изменяются от пиксела к пикселу в границах идентифицированного сегмента, каждому из пикселов в границах идентифицированного сегмента назначается одно и то же единственное значение, основанное на или полученное из различных значений различных индивидуальных пикселов в границах идентифицированного сегмента. Например, в одной реализации, среднее, медианное, максимальное, минимальное или другое статистическое значение, полученное из значений различных пикселов в границах сегмента, назначается каждому из пикселов в границах ассоциированного сегмента.

[00082] Модуль 438 детектора урожая и сорта анализирует значения для одного или более признаков, выделенных посредством модуля 436 выделения признаков для сегментов, идентифицированных в сегментированных изображениях насыпи зерна с выделенными признаками и изображениях насыпи зерна с отфильтрованными признаками, чтобы идентифицировать тип конкретного урожая и возможно конкретный сорт урожая, убираемого в настоящий момент. Определенный или идентифицированный тип урожая и сорт выводятся в качестве сигналов 439 для записи с конкретными ассоциированными, привязанными к географическим координатам местоположениями, пересекаемыми в настоящий момент уборочной машиной 200. В одной реализации определенный или идентифицированный тип урожая и сорт дополнительно отображаются на дисплее 257. Например, поле может быть распланировано с множеством типов урожая или множеством сортов. Модуль 438 детектора урожая и сорта определяет изменения в типе урожая и сорте, когда уборочная машина пересекает поле, и записывает изменения в сорте урожая и типе относительно различных привязанных к географическим координатам местоположений в поле. В одной реализации результаты качества зерна могут дополнительно быть сохранены и ассоциированы в памяти с конкретным идентифицированным сортом и типом урожая, также как конкретными привязанными к географическим координатам в поле. В одной реализации обнаруженный тип урожая выводится в контроллер 255 (показан на фиг. 5), так что контроллер может изменять свою стратегию управления на основе обнаруженного типа урожая.

[00083] В одной реализации обнаруженный тип урожая используется модулем 440 классификации, чтобы выбирать из набора специфичных для урожая параметров. Например, в одной реализации, на основе обнаруженного урожая или обнаруженного сорта убираемого урожая, модуль 440 классификации осуществляет доступ в справочные таблицы или использует математические соотношения, связывающие или согласующие вычисленные значения признаков и вероятности для классификации материалов. Например, в одной реализации, классификатор 440 обращается к первой справочной таблице или использует первое математическое соотношение значений признаков с вероятностями, чтобы определять вероятность того, что конкретная классификация материала существует в конкретном местоположении выборки для первого идентифицированного урожая, такого как кукуруза. В отличие от этого, классификатор 440 обращается ко второй, другой справочной таблице или использует второе, другое математическое соотношение значений признаков с вероятностями, чтобы определять вероятность того, что конкретная классификация материала существует в конкретном местоположении выборки для второго идентифицированного урожая, такого как пшеница, соевые бобы, ячмень, канола, овес или т.п.

[00084] В еще одних реализациях модуль 438 детектора урожая и сорта исключен или вручную отключается, при этом пользователь указывает тип урожая модулю 440 классификации. В еще одной реализации модуль 438 детектора урожая и сорта исключен, и модуль 440 классификации использует общие параметры/справочные таблицы/математические соотношения, связывающие значения признаков с вероятностями классификации, при этом одна справочная таблица или одно математическое соотношение или формула используется для конкретного класса материала, такого как легкие MOG, тяжелые MOG, чистое зерно и т.п., по всем типам урожая.

[00085] В одной реализации датчик 438 урожая и сорта дополнительно сравнивает значения, принятые от модуля 436 выделения признаков, для одного или более признаков с нормальными, типичными или стандартными значениями или диапазонами значений, чтобы определять степень или уровень достоверности, что конкретные значения признаков, принятые от модуля 436, фактически существуют для урожая, который собирается. В такой реализации детектор 438 урожая и сорта выводит сигналы, представляющие указание 441 уровня достоверности. В одной реализации уровень 441 достоверности используется контроллером 255, чтобы изменять то, как он интерпретирует сигналы 496, указывающие качество зерна. В другой реализации указание 441 уровня достоверности представляется на дисплее или другом устройстве вывода оператору.

Например, в одной реализации, в обстоятельствах, когда значения для признаков, принятых от модуля 436, так отличаются от типичных значений признаков для собираемого урожая, детектор 438 будет выводить сигналы, указывающие чрезвычайно низкий уровень достоверности для результатов, в конечном счете представленных системой 20. В одной реализации, если различия между принятыми значениями признаков и ожидаемыми значениями признаков превышают предварительно определенный порог, предупреждающее указание может быть отображено или звуковым образом представлено оператору. Такое различие, приводящее в результате к низкому уровню достоверности, может быть результатом того, что оператор вводит неправильный тип урожая, или уборочная машина временно пересекает аномальный район поля, содержащий аномальный участок растений.

[00086] Модуль 440 классификации работает аналогично модулю 54 классификации, как описано выше, за исключением того, что модуль 440 классификации определяет вероятность представления конкретной классификации материала в каждом из различных местоположений выборки дополнительно на основе значения для единственного признака или на основе значений множества признаков в каждом местоположении выборки сегментированных изображений с выделенными признаками. Например, в одной реализации, модуль 440 классификации определяет вероятность представления MOG в местоположении 132A выборки на основе значения первого признака в соответствующем местоположении 132A выборки в характеристическом изображении 122 (фиг. 3B), значения для второго признака в соответствующем местоположении 132A выборки в характеристическом изображении 124 (фиг. 3C), значения для третьего признака в соответствующем местоположении 132A выборки в характеристическом изображении 126 (фиг. 3D), значения для четвертого признака в соответствующем местоположении 132A выборки в характеристическом изображении 130 (фиг. 3E), а также значения для пятого признака в соответствующем местоположении 132A выборки в сегментированном изображении 489 с выделенными признаками (фиг. 11A) и значения для шестого признака в соответствующем местоположении 132A выборки в сегментированном изображении 491 с выделенными признаками (фиг. 11B).

[00087] Аналогично модулю 54 классификации, модуль 44 классификации определяет вероятность, как описано выше, для конкретной классификации в каждом из множества различных местоположений выборки. Например, модуль 440 классификации (1) определяет первую вероятность для представления конкретной классификации материала, такой как MOG, в местоположении 132A выборки, (2) определяет вторую вероятность для представления той же конкретной классификации материала, такой как MOG, в местоположении 132B выборки, (3) определяет третью вероятность для представления той же конкретной классификации, такой как MOG, в местоположении 132C выборки, и т.д. для каждого местоположения выборки. Хотя фиг. 3A иллюстрирует пять местоположений 132 выборки, в других реализациях модуль 54 классификации может определять вероятности классификации в большем или меньшем числе таких местоположений выборки.

[00088] В одной реализации модуль 440 классификации инструктирует процессору 28 определять вероятность для каждой из множества различных классификаций материала в каждом местоположении 132 выборки. Например, в одной реализации, модуль 440 классификации назначает каждому местоположению выборки вероятность для каждой из множества различных классификаций. Например, модуль 440 классификации может назначать местоположению выборки вероятность x% того, что выборка изображения изображает первую классификацию материала, и вероятность z% того, что местоположение выборки изображает вторую классификацию материала и т.д., при этом сумма вероятностей не превышает 100%. Например, в одной реализации, модуль 440 классификации инструктирует процессору 28 определять вероятность представления первой классификации материала, такой как дробленое зерно, в местоположении выборки, а также вероятность представления второй другой классификации материала, такой как MOG, тяжелых MOG или легких MOG, в том же местоположении выборки.

[00089] В одной реализации модуль 440 классификации обращается к предварительно определенной справочной таблице, содержащей различные значения для различных комбинаций признаков и различные классификации материалов, соответствующие различным значениям для различных комбинаций признаков. Как отмечено выше, в одной реализации, конкретная справочная таблица выделена для каждого типа урожая или для каждого различного сорта урожая. В другой реализации используется множество таблиц, при этом каждая конкретная справочная таблица используется для конкретного набора или группы связанных урожаев или связанных сортов. В других реализациях общая справочная таблица используется по всем типам урожая или по всем сортам. В одной реализации записи вероятностей в справочной таблице формируются посредством получения множества образцов зерна, захвата изображения каждого из множества образцов зерна и необходимости экспертам или обученным людям-операторам маркировать различные части изображения, чтобы формировать маркированные изображения 490. Фиг. 12-15 иллюстрируют захваченные изображения насыпи зерна пшеницы, кукурузы, соевых бобов и канолы, которые были промаркированы людьми-операторами для использования в формировании различных справочных таблиц для каждого из различных типов урожая.

Промаркированные изображения насыпи зерна цифровым образом вводятся и сохраняются для использования посредством обучающего модуля 492. В альтернативной реализации математическое соотношение используется вместо справочной таблицы.

[00090] Обучающий модуль 492 содержит процессор и ассоциированную программную логику, которая управляет формированием справочной таблицы или математического соотношения через машинное обучение посредством использования большого списка векторов признаков и пар меток. В качестве такого обучения модуль 436 выделения признаков применяет фильтры и выделители признаков к маркированным изображениям насыпи зерна, чтобы выделять векторы признаков для каждого местоположения выборки маркированного изображения насыпи зерна. Впоследствии, обучающий модуль 492 использует метку в каждом местоположении выборки, чтобы определять желаемые вероятности материала в этом местоположении выборки, и ассоциирует эти желаемые вероятности с набором выделенных признаков в этом местоположении выборки. Такие вероятности и соответствующий набор векторов признаков сохраняются как часть справочной таблицы, впоследствии используемой модулем 440 классификации при анализе качества зерна. В альтернативной реализации математическое соотношение между векторами признаков и вероятностями формируется и сохраняется вместо справочной таблицы.

[00091] В иллюстрированном примере модуль 440 классификации функционирует в одном из различных режимов, выбираемых пользователем системы 420, при этом система 420 анализирует насыпь зерна на предмет различных классификаций материала. Примеры различных классификаций материала, для которых модуль 440 классификации выполняет прогноз относительно каждого местоположения выборки, включают в себя, но не только, один или более диапазонов, касающихся материала, отличного от зерна (MOG), такого как легкие MOG, тяжелые MOG или другие классификации, такие как шелуха, дробленое зерно, ветки, исходный материал, комья, стебли, стручки, необмолоченное зерно, покрытое кожицей зерно и чистое зерно. В других реализациях модуль 440 классификации может прогнозировать другие классификации материала в зависимости от конкретного типа зерна и конкретного растения, с которого зерно собирается. Вероятности для таких других классификаций предусматриваются в справочных таблицах или математических соотношениях, которые формируются аналогично формированию справочной таблицы или математического соотношения, описанного выше относительно меток 490 и обучающего модуля 492.

[00092] Модуль 442 преобразования и фильтрации преобразует или сопоставляет вероятности классификации образца изображения по всему изображению насыпи зерна, принятому из модуля 440 классификации, в процент веса, выводимый для различных классификаций материалов в насыпи зерна. Модуль 442 преобразования и фильтрации определяет и выводит сигнал или сигналы 496, указывающие качество зерна, для изображения насыпи зерна на основе совокупности вероятностей, для конкретной классификации материала, из различных образцов изображения, составляющих изображение насыпи зерна. В иллюстрированном примере модуль 442 выводит, на дисплей 257 и контроллер 255, информацию о качестве зерна, такую как процент массы/веса чистого зерна, процент массы/веса дробленого зерна, процент массы/веса материала, отличного от легкого зерна, процент массы/веса материала, отличного от тяжелого зерна, и процент массы/веса необмолоченного зерна. В одной реализации модуль 442 дополнительно вычисляет статистику, относящуюся к таким результатам качества зерна, при этом мгновенные, фильтрованные и неопределенности в измерениях вычисляются для отображения, машинного управления и хранения.

[00093] В иллюстрированном примере модуль 442 преобразования и фильтрации применяет функцию калибровки к статистике, полученной из совокупности различных вероятностей классификации различных образцов изображения. В одной реализации модуль 442 преобразует вероятности классификации образца изображения по изображению в процентное отношение по массе/весу для классификации материала для изображения посредством применения функции калибровки в форме линейной кривой, которая сопоставляет среднюю вероятность классификации по изображению насыпи зерна с наземными контрольными данными процентного отношения по весу или процентного отношения по массе для классификации материала. Фиг. 16 иллюстрирует примерную линейную кривую, сопоставляющую среднее выходных данных вероятности классификации по изображению насыпи зерна или по множеству изображений насыпи зерна (алгоритм взвешенного среднего) с наземными контрольными данными процентного отношения по массе или процентного отношения по весу (наземные контрольные данные) для примерного класса материала, такого как необмолоченное зерно для такого урожая как пшеница. Во время работы уборочной машины 200 модуль 442 преобразования усредняет вероятности классификации различных образцов изображения по одному или более изображениям насыпи зерна и преобразует средние значения в значения процентного отношения по массе или процентного отношения по весу с помощью соотношения преобразования, представленного посредством линейной кривой.

[00094] Фиг. 17 иллюстрирует примерные способы, посредством которых функция калибровки, такая как примерная функция калибровки, показанная на фиг. 16, вычисляется или определяется.

Фиг. 17 блок-схема последовательности операций, иллюстрирующая примерный способ 500 для формирования функции калибровки, с помощью значений наземной проверки, которая должна использоваться в преобразовании совокупности вероятностей классификации в значения процентного отношения по весу. Как указано посредством блоков 502, 504 образец зерна в зерновом элеваторе 233 изымается и передается по обводному каналу 300. Как указано посредством блока 506, получаются изображения образца обводного канала. Как указано посредством блоков 512 и 514, признаки выделяются или вычисляются из каждого изображения, при этом вероятности классификации материала определяются и назначаются каждому местоположению выборки, как описано выше относительно модуля 440 классификации.

[00095] В одной реализации, как указано посредством блока 520, образец зерна в обводном канале, с которого изображения в блоке 506 были получены, затем разделяется на различные компоненты материала, например, посредством пропускания фактического образца зерна в обводном канале через очиститель в блоке 522 и вибросито в блоке 524. Как указано в блоке 526, фактические значения для процентного отношения по весу для различных классификаций материала измеряются.

[00096] В альтернативной реализации, как указано посредством блока 530, вместо использования изображений, захваченных из обводного канала для насыпи зерна, функция калибровки альтернативно определяется с помощью образца, взятого из зернового бункера, такого как зерновой бункер уборочной машины, в течение общего времени, в которое зерно для образца обводного канала было получено. Как указано посредством блоков 532 и 534, этот образец из зернового бункера также разделяется на различные компоненты материала, например, посредством пропускания фактического образца из зернового бункера через очиститель в блоке 532 и вибросито в блоке 534. Как указано посредством блока 536, фактические значения для процентного отношения по весу для различных классификаций материала измеряются.

[00097] Как указано стрелками 540, фактические значения процентного отношения по весу для различных классификаций материала, определенные в блоках 526 и/или 536, могут быть использованы в качестве наземных контрольных данных процентного отношения по весу 542, чтобы определять функцию 548 калибровки. Как указано стрелками 544, отношение между наземными контрольными данными процентного отношения по весу 542 для каждого класса материала и совокупностью различных вероятностей классификации различных образцов изображения определяется. Это отношение определяется и используется, чтобы идентифицировать функцию 548 калибровки, такую как примерная функция калибровки, показанная на фиг. 16, для использования в последующее время выполнения преобразования совокупностей различных вероятностей классификации различных изображений в значения процентного отношения по весу для различных классов материала.

[00098] В еще одной реализации вместо определения фактических процентных отношений массы/веса класса из образцов насыпи зерна, полученных из обводного канала уборочной машины (блок 504) или альтернативно полученных из зернового бункера (блок 530), функция калибровки альтернативно определяется с помощью придуманных образцов зерна с известными количествами каждого типа материала, при этом образцы зерна обрабатываются, чтобы получать ответ системы, и при этом функция калибровки, такая как линейная кривая, сопоставляющая совокупные выходные данные вероятности классификации с наземными контрольными данными процентного соотношения массы или веса, формируется.

[00099] В одной реализации модуль 442 дополнительно применяет фильтры по множеству мгновенных выходных сигналов 496, например, применяя простой взвешенный фильтр с движущимся окном, который учитывает перекрывание изображения, приводящее в результате к отфильтрованным выходным сигналам 496. В одной реализации веса в фильтре зависят от времени. В альтернативной реализации, веса фильтра зависят от количества материала, который был перемещен за устройство формирования изображения, которое вычислено посредством модуля 432 обнаружения перекрывания и наполнения.

[000100] В одной реализации модуль 442 дополнительно создает оценки неопределенности в выходных сигналах 496 с помощью вероятностей классификации, сформированных посредством классификатора 440. Например, изображение насыпи зерна, которое содержит образцы изображения, классифицированные как легкие MOG с очень высокой вероятностью, и все другие классы с очень низкой вероятностью, будет давать в результате выходной сигнал низкой неопределенности. Наоборот, изображение насыпи зерна, которое содержит образцы изображения, классифицированные с некоторой вероятностью как легкие MOG и некоторой вероятностью как необмолоченное зерно, будет давать в результате сигнал с более высокой неопределенностью. В другой реализации величина изменения в мгновенном выходном сигнале, вычисленная из отдельных изображений насыпи зерна, используется для определения выходного сигнала 496 неопределенности. В одной реализации выходной сигнал 496 неопределенности используется контроллером 255, чтобы изменять то, как он интерпретирует мгновенные и/или фильтрованные сигналы 496, указывающие качество зерна.

[000101] Фиг. 18 это функциональная блок-схема последовательности операций примерного способа 600 мониторинга качества зерна. Способ 600 выполняется посредством системы 420, иллюстрированной на фиг. 8. Как указано посредством блока 602, модуль 432 обнаружения перекрывания и наполнения принимает изображения насыпи зерна и анализирует такие изображения, чтобы определять перекрывание последовательных изображений и идентифицировать изображения, которые не полностью наполнены зерном. После того как изображение 604, подходящее для анализа, было идентифицировано являясь полным зерна или имея обрезанные пустые фрагменты изображения и учитывая перекрывание с предыдущими изображениями модуль 436 выделения признаков применяет выделители признаков к изображению 604, чтобы выделять или вычислять набор различных признаков 606, которые не зависят от границ сегмента, из изображения 604 насыпи зерна.

Модуль 434 сегментации выполняет сегментацию по одному и тому же изображению 604, чтобы создавать сегментацию 608 изображения 604 насыпи зерна. Модуль 436 выделения признаков затем применяет различные выделители признаков, чтобы выделять или вычислять набор различных признаков 610 из сегментации 608 и изображения 604 насыпи зерна. Как указано посредством блока 612, модуль 440 классификации объединяет набор признаков 606 и 610, чтобы формировать векторы признаков для каждого из множества местоположений выборки, полученных из изображения 604 насыпи зерна. Как указано посредством блока 614, модуль 440 классификатора определяет балл классификации, а именно вероятности 616 классификации для каждого местоположения выборки всего изображения 604 на основе векторов признаков в каждом изображении насыпи зерна. Фиг. 18 иллюстрирует примерные вероятности местоположения выборки для классификаций материала легкого MOG 618 и необмолоченного зерна с помощью местоположений выборки, выровненных по регулярной решетке каждого четвертого пиксела в направлениях и y входного изображения 604. В этой иллюстрации местоположения выборки с высокими вероятностями для этой классификации материала показаны как яркие, а низкие вероятности показаны как темные. Такие вероятности классификации существуют на уровне местоположения выборки, а не на уровне сегмента или "частицы", как определено границами сегмента или "частицы". В результате, вероятности классификации, как правило, изменяются между объектами в изображении насыпи зерна, как иллюстрировано посредством изменяющейся яркости по ссылкам 618 и 620 по местоположениям выборки, которые попадают в один объект в изображении 604 насыпи зерна. Как дополнительный результат, множество классов материала могут иметь вероятности в одном и том же местоположении выборки, как иллюстрировано средней яркостью в местоположении 640A выборки как легких MOG 618, так и необмолоченного зерна 620, показывающие неопределенность классификации в таких местоположениях выборки. Кроме того, поскольку классификатор 614 включает в себя признаки 606 изображения независимо от границ сегмента и формирует вероятности классификации в местоположениях выборки независимо от сегментов, фрагменты объектов во входном изображении 604 насыпи зерна могут быть правильно классифицированы, даже если такие объекты не присутствуют в сегментации 608, как показано посредством вероятности 618 тонкой части легких MOG в местоположении 640B выборки.

[000102] Как указано посредством блока 622, модуль 442 собирает вероятности классификации из всех местоположений выборки в изображении. Как указано посредством блока 624, модуль 442 применяет функцию калибровки к собранным вероятностям образца, чтобы определять значение процентного отношения по значению массы/веса для класса материала для всего изображения 604. Как указано посредством блока 626, модуль 442 дополнительно применяет фильтрацию, чтобы выводить оценку процентных отношений по весу для классов материала. Такие оценки процентных отношений по весу включают в себя, но не только, процентное отношение по весу чистого зерна, процентное отношение по весу дробленого зерна, процентное отношение по весу легких примесей в зерне, процентное отношение по весу тяжелых примесей в зерне, и процентное отношение по весу необмолоченного зерна. В одной реализации выходные сигналы дополнительно включают в себя оценки неопределенности для процентных отношений по весу.

[000103] В одной реализации тот же процесс, описанный выше относительно фиг. 18, применяется к изображениям насыпи зерна, принятым из источника 296 изображений насыпи зерна, который предоставляет изображения отходов. В такой реализации сегментация изображения и выделение признаков сегмента могут быть исключены вследствие ожидаемого большого количества перекрывающего материала, отличного от зерна. В одной реализации наблюдение за отходами создает процентное отношение по весу для классификаций материалов, содержащих "зерно без примесей", и/или классификаций материалов, содержащих "отходы/легкие MOG". В одной реализации наблюдение отходов дополнительно создает результаты для классификации материалов, содержащей "необмолоченное зерно". В еще одной реализации наблюдение отходов дополнительно создает результаты для "пустого" класса, когда изображение отходов частично пустое.

[000104] Хотя настоящее изобретение было описано со ссылкой на примерные варианты осуществления, специалисты в данной области техники признают, что изменения могут быть выполнены в форме и деталях без отступления от духа и рамок заявленного предмета изучения. Например, хотя некоторые примерные варианты осуществления могли быть описаны как включающие в себя один или более признаков, обеспечивающих одно или более преимуществ, предполагается, что описанные признаки могут быть взаимозаменяемыми друг с другом или альтернативно объединены друг с другом в описанных примерных вариантах осуществления или в других альтернативных вариантах осуществления. Поскольку технология настоящего изобретения является относительно сложной, не все изменения в технологии предвидимы заранее. Настоящее изобретение, описанное со ссылкой на примерные варианты осуществления и изложенное в последующей формуле изобретения, явно предназначено быть настолько широким, насколько возможно. Например пока специально не отмечено иное, пункты формулы, перечисляющие единственный конкретный элемент, также охватывают множество таких конкретных элементов.

Изобретение относится к сельскому хозяйству, в частности к улучшению сбора зерна. Способ управления работой уборочной машины предусматривает захват изображения насыпи зерна, переносимого уборочной машиной; применение выделителя признаков к изображению, чтобы определять признак насыпи зерна в изображении; для каждого из множества различных местоположений выборки в изображении определяют балл классификации на основе признака насыпи зерна в местоположении выборки для представления классификации материала в местоположении выборки; вывод сигнала, указывающего на качество насыпи зерна на изображения на основе совокупности баллов классификации различных местоположений выборки; автоматическое регулирование рабочих настроек уборочной машины на основе сигнала при прохождении уборочной машиной поля и при сборе насыпи зерна уборочной машиной. Способ управления работой уборочной машины осуществляется компьютерно-читаемым носителем с программой для работы уборочной машины. Предлагаемый способ управления работой уборочной машины и компьютерно-читаемый носитель, содержащий программную логику для управления работой уборочной машины, повышает точность сбора зерна выбранной классификации. 2 н. и 17 з.п. ф-лы, 18 ил.

1. Способ управления работой уборочной машины, содержащий этапы, на которых:

захватывают изображение насыпи зерна, переносимого уборочной машиной;

применяют выделитель признаков к изображению, чтобы определять признак насыпи зерна в изображении;

для каждого из множества различных местоположений выборки в изображении определяют, на основе признака насыпи зерна в местоположении выборки, балл классификации для представления классификации материала в местоположении выборки; и

выводят сигнал, указывающий качество насыпи зерна из изображения, на основе совокупности баллов классификации различных местоположений выборки; и

автоматически регулируют рабочие настройки уборочной машины на основе сигнала при прохождении уборочной машиной поля и при сборе насыпи зерна уборочной машиной.

2. Способ по п. 1, содержащий этап, на котором применяют множество выделителей признаков к изображению, чтобы определять множество признаков насыпи зерна в изображении, при этом балл классификации для представления классификации материала в местоположении выборки основан на множестве признаков насыпи зерна в местоположении выборки.

3. Способ по п. 1, дополнительно содержащий этапы, на которых:

сегментируют изображение на сегменты, определенные посредством предполагаемых границ индивидуальных элементов насыпи зерна;

определяют признак каждого сегмента, при этом балл классификации для представления классификации материала в каждом местоположении выборки дополнительно основан на признаке каждого сегмента в каждом местоположении выборки.

4. Способ по п. 1, дополнительно содержащий этапы, на которых:

сегментируют изображение на сегменты, определенные посредством предполагаемых границ индивидуальных элементов насыпи зерна;

применяют множество выделителей признаков к каждому из сегментов, чтобы определять множество признаков для каждого сегмента, при этом балл классификации для представления классификации материала в каждом местоположении выборки дополнительно основан на множестве признаков каждого сегмента в каждом местоположении выборки.

5. Способ по п. 1, дополнительно содержащий этапы, на которых:

для каждого из множества различных местоположений выборки в изображении определяют, на основе признака насыпи зерна в местоположении выборки, балл классификации для представления второй классификации материала в местоположении выборки; и

выводят сигнал, указывающий качество насыпи зерна из изображения, на основе совокупности баллов классификации для представления второй классификации в каждом из местоположений выборки.

6. Способ по п. 1, дополнительно содержащий этапы, на которых:

применяют множество выделителей признаков к изображению, чтобы определять множество признаков насыпи зерна в изображении;

для каждого из множества различных местоположений выборки в изображении определяют, на основе множества признаков насыпи зерна в местоположении выборки, балл классификации для представления второй классификации материала в местоположении выборки, при этом сигнал, указывающий качество насыпи зерна изображения, основан на совокупности баллов классификации для представления второй классификации материала в каждом из местоположений выборки.

7. Способ по п. 1, дополнительно содержащий этап, на котором выводят сигнал, указывающий уровень достоверности в сигнале, указывающем качество насыпи зерна из изображения.

8. Способ по п. 1, при этом классификация материала выбирается из группы классификаций материала, состоящей из: дробленого зерна и необмолоченного зерна.

9. Способ по п. 1, дополнительно содержащий этап, на котором применяют функцию калибровки к совокупности баллов классификации, чтобы определять процентное отношение по весу материала, имеющего классификацию для изображения, при этом сигнал основан на определенном процентном отношении по весу материала, имеющего классификацию для изображения.

10. Способ по п. 1, при этом сигнал основан на времени или взвешенном фильтре потока материала для множества из совокупности баллов классификации для классификации из множества изображений насыпи зерна.

11. Компьютерно-читаемый носитель, содержащий программную логику для способа работы уборочной машины по п. 1, причем программная логика инструктирует процессор:

принимать сигналы, соответствующие захваченному изображению насыпи зерна, причем захваченное изображение содержит (А) множество индивидуальных элементов насыпи зерна, которые частично перекрываются другими элементами насыпи зерна или которые частично перекрываются другими элементами насыпи зерна, и (B) незерновые элементы, выбранные из группы незерновых элементов, состоящей из соломенной сечки, шелухи комьев, стеблей, стручков;

применять выделитель признаков к изображению, чтобы определять признак насыпи зерна в изображении;

для каждого из множества различных местоположений выборки в изображении определять, на основе признака насыпи зерна в местоположении выборки, балл классификации для представления классификации материала в местоположении выборки;

выводить сигнал, указывающий качество насыпи зерна из изображения, на основе совокупности баллов классификации для представления классификации материала в каждом из различных местоположений выборки; и

автоматически регулировать рабочие настройки уборочной машины на основе сигнала при прохождении уборочной машиной поля и при сборе насыпи зерна уборочной машиной.

12. Компьютерно-читаемый носитель по п. 11, при этом программная логика дополнительно сконфигурирована, чтобы инструктировать процессор:

сегментировать изображение на сегменты, определенные посредством предполагаемых границ индивидуальных элементов насыпи зерна;

применять выделитель признаков к сегментам, чтобы определять признак каждого сегмента, при этом балл классификации для представления классификации материала в местоположении выборки дополнительно основан на признаке каждого сегмента в местоположении выборки.

13. Компьютерно-читаемый носитель по п. 11, при этом программная логика дополнительно инструктирует процессор:

сегментировать изображение на сегменты, определенные посредством предполагаемых границ индивидуальных элементов насыпи зерна;

применять множество выделителей признаков к каждому из сегментов, чтобы определять множество признаков для каждого сегмента, при этом балл классификации для представления классификации материала в местоположении выборки дополнительно основан на множестве признаков каждого сегмента в местоположении выборки.

14. Компьютерно-читаемый носитель по п. 11, при этом программная логика дополнительно инструктирует процессор:

для каждого из множества различных местоположений выборки в изображении определять, на основе признака насыпи зерна в местоположении выборки, балл классификации для представления второй классификации материала в местоположении выборки; и

выводить сигнал, указывающий качество насыпи зерна из изображения, на основе совокупности баллов классификации для представления второй классификации материала в каждом из местоположений выборки.

15. Компьютерно-читаемый носитель по п. 11, при этом программная логика дополнительно инструктирует процессор:

применять множество выделителей признаков к изображению, чтобы определять множество признаков насыпи зерна в изображении; и

для каждого из множества различных местоположений выборки в изображении определять, на основе множества признаков насыпи зерна в местоположении выборки, балл классификации для представления второй классификации материала в местоположении выборки, при этом сигнал, указывающий качество насыпи зерна изображения, основан на совокупности баллов классификации для представления второй классификации материала в каждом из местоположений выборки.

16. Компьютерно-читаемый носитель по п. 11, при этом программная логика дополнительно инструктирует процессор применять функцию калибровки к совокупности баллов классификации, чтобы определять процентное отношение по весу классификации материала для изображения, при этом сигнал основан на определенном процентном отношении по весу классификации материала для изображения.

17. Компьютерно-читаемый носитель по п. 11, при этом сигнал основан на времени или взвешенном фильтре потока материала множества из совокупности баллов классификации для классификации из множества изображений.

18. Компьютерно-читаемый носитель по п. 11, при этом программная логика дополнительно инструктирует процессор выводить сигнал, указывающий уровень достоверности в сигнале, указывающем качество насыпи зерна изображения.

19. Компьютерно-читаемый носитель по п. 11, при этом программная логика дополнительно инструктирует процессор выводить сигнал, указывающий неопределенность в сигнале, указывающем качество насыпи зерна изображения.