СИСТЕМА АВТОМАТИЧЕСКОГО ВОЖДЕНИЯ ДЛЯ ПЕРЕРАБОТКИ ЗЕРНА, СПОСОБ АВТОМАТИЧЕСКОГО ВОЖДЕНИЯ И СПОСОБ ПЛАНИРОВАНИЯ ТРАЕКТОРИИ Российский патент 2022 года по МПК G01C21/20 A01B79/00 

[0001] Настоящее изобретение относится к сельскому хозяйству, к области автономного вождения сельскохозяйственных машин, в частности к системе автоматического вождения для переработки зерна, способу автоматического вождения и способу планирования траектории.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0002] Термин «сельскохозяйственная машина» относится к различным машинам, используемым в процессе первичной переработки сельскохозяйственной продукции и продукции животноводства, а также в производстве сельскохозяйственных культур и животноводстве. Существуют различные типы сельскохозяйственных машин, такие как посевное оборудование, пахотное оборудование, оборудование для боронования, почвофрезы, оборудование для защиты растений, уборочное оборудование и т.д. В процессе эксплуатации сельскохозяйственных машин требуется учитывать наличие системы перемещения и системы эксплуатации механического оборудования. Когда сельскохозяйственная машина находится в движении по обрабатываемой земле, маршрут этой сельскохозяйственной машины необходимо корректировать согласно условиям обрабатываемой земли.

[0003] Когда сельскохозяйственная машина эксплуатируется на обрабатываемой земле, условия этой обрабатываемой земли и выращиваемых сельскохозяйственных культур необходимо оценивать в реальном времени и эксплуатировать сельскохозяйственную машину и систему эксплуатации согласно этим условиям эксплуатации обрабатываемой земли и выращивания сельскохозяйственных культур на этой обрабатываемой земле. В известном уровне техники эксплуатация сельскохозяйственной машины и системы эксплуатации может осуществляться людьми, водителями и операторами. Сельскохозяйственной машине необходимо учитывать обработанную зону обрабатываемой земли, необработанную зону обрабатываемой земли, а также границы и множество других факторов. В процессе эксплуатации сельскохозяйственной машины работу транспортного средства и эксплуатационные параметры необходимо корректировать в реальном времени согласно состоянию сельскохозяйственной культуры. Так как в ходе вождения необходимо учитывать сложные условия эксплуатации, сельскохозяйственное оборудование согласно существующей технологии также требует от оператора корректировки эксплуатации сельскохозяйственной машины на основе информации в реальном времени о сельскохозяйственной культуре на обрабатываемой земле. Вероятность субъективной ошибки при эксплуатации сельскохозяйственной машины повышается при использовании ручного управления, что приводит к повышению вероятности отказа механического оборудования в ходе эксплуатации.

[0004] Существующие сельскохозяйственные машины не являются интеллектуальными, и исключение водителя сельскохозяйственного оборудования является невозможным. На основе способа спутниковой навигации PTK можно получать высокоточную информацию спутниковой навигации, но для беспилотной сельскохозяйственной машины, в частности уборочного оборудования, при эксплуатации более важным для точной эксплуатации или корректировки эксплуатации сельскохозяйственной машины являются определение убранной зоны и неубранной зоны сельскохозяйственной культуры текущей обрабатываемой земли, граничной зоны обрабатываемой земли и другой информации. Сельскохозяйственные машины согласно существующей технологии не способны оценивать точность зон обрабатываемой земли, и курс эксплуатации сельскохозяйственной машины обычно находится в соответствии с установленной траекторией. При возникновении отклонения от маршрута его трудно своевременно скорректировать и изменить. Поэтому, если установленная траектория эксплуатации является неточной, эксплуатация сельскохозяйственной машины согласно существующей технологии является неэффективной и даже может приводить к ошибкам, вызывающим серьезные механические повреждения. Дополнительно, при использовании способа спутниковой навигации РТК сельскохозяйственное оборудование имеет высокие эксплуатационные требования, и необходимые издержки производства и эксплуатационные расходы этого сельскохозяйственного оборудования являются высокими, поэтому беспилотная навигация согласно существующей технологии неприменима к беспилотному режиму современных сельскохозяйственных машин.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения идентифицирует зону обрабатываемой земли на основе по меньшей мере одного визуального изображения.

[0006] Другой целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения управляет траекторией движения при помощи идентификации необработанной зоны, обработанной зоны и граничной зоны обрабатываемой земли на визуальном изображении.

[0007] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система планирования траектории системы автоматического вождения автоматически планирует траекторию на основе информации о текущем положении транспортного средства, информации, идентифицированной системой обработки изображений, и информации навигационной системы.

[0008] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения планирует траекторию движения и маршрут эксплуатации системы автоматического вождения на основе зоны, идентифицированной из визуального изображения.

[0009] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения получает изображения при помощи устройства получения изображений, идентифицирует зону на визуальном изображении и обновляет или корректирует маршрут эксплуатации системы автоматического вождения в реальном времени согласно изменившейся зоне, для того чтобы улучшить работу системы автоматического вождения.

[0010] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система обработки изображений системы автоматического вождения использует технологию сегментации изображений для идентификации необработанной зоны, обработанной зоны, граничной зоны обрабатываемой земли и границ двух смежных зон на изображении.

[0011] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система обработки изображений системы автоматического вождения на основе информации полученного визуального изображения использует технологию сегментации изображений для идентификации на изображении такой информации о сельскохозяйственной культуре, как вид, высота и налив зерна сельскохозяйственной культуры, с целью обеспечения возможности корректировки системой эксплуатации системы автоматического вождения эксплуатационных параметров на основе информации о сельскохозяйственной культуре.

[0012] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система обработки изображений системы автоматического вождения идентифицирует границу зоны на изображении на основе полученной информации изображения так, что система планирования траектории может планировать траекторию движения транспортного средства на основе идентифицированной границы зоны.

[0013] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения не требует высокоточной спутниковой навигации, что, таким образом, снижает сложность изготовления оборудования для автоматического вождения, а также снижает эксплуатационные расходы оборудования для автоматического вождения.

[0014] Еще одной целью настоящего изобретения является предоставление системы автоматического вождения для переработки зерна, способа автоматического вождения и способа планирования траектории, в которых система автоматического вождения осуществляет планирование траектории на основе информации о разделении зон, выводимой системой обработки изображений, с целью реализации автоматического вождения и эксплуатации автоматического вождения.

[0015] Другие преимущества и признаки настоящего изобретения описаны ниже в подробном описании и могут быть реализованы при помощи комбинации средств и устройств, конкретно указанных в приложенной формуле изобретения.

[0016] Согласно одному аспекту настоящего изобретения, настоящее изобретение предоставляет способ планирования траектории для системы автоматического вождения для переработки зерна, который включает:

[0017] этап (a): получение по меньшей мере одного изображения обрабатываемой земли в окрестности зерноперерабатывающей машины;

[0018] этап (b): идентификация и разделение зоны обрабатываемой земли и границы обрабатываемой земли, соответствующих изображению; и

[0019] этап (c): планирование по меньшей мере одной запланированной траектории движения на основе идентифицированных зоны обрабатываемой земли и границы обрабатываемой земли.

[0020] Согласно одному варианту осуществления настоящего изобретения, способ планирования траектории дополнительно включает: этап (а.0): установка эксплуатационной зоны обрабатываемой земли и по меньшей мере одной границы эксплуатационной зоны, соответствующей этой эксплуатационной зоне.

[0021] Согласно одному варианту осуществления настоящего изобретения, этап (а.0) дополнительно включает: идентификацию эксплуатационной зоны и границы эксплуатационной зоны обрабатываемой земли при помощи системы обработки изображений.

[0022] Согласно одному варианту осуществления настоящего изобретения, этап (а) дополнительно включает: фотографирование в реальном времени изображения окрестности системы автоматического вождения для переработки зерна на основе положения системы автоматического вождения для переработки зерна.

[0023] Согласно одному варианту осуществления настоящего изобретения, этап (b) дополнительно включает: сегментацию изображения с использованием способа сегментации изображений, идентификацию и разделение зоны изображения.

[0024] Согласно одному варианту осуществления настоящего изобретения, этап (b) дополнительно включает: использование системой обработки изображений способа сегментации изображений для сегментации изображения и разделение зоны изображения на необработанную зону, обработанную зону и граничную зону обрабатываемой земли.

[0025] Согласно одному варианту осуществления настоящего изобретения, этап (b) дополнительно включает:

[0026] этап (b.1): сегментация изображения на множество пиксельных областей и нормализация значений пикселей пиксельных областей в массив;

[0027] этап (b.2): извлечение признаков пиксельных областей, соответствующих каждому массиву; и

[0028] этап (b.3): вывод метки классификации изображения на основе признаков пиксельных областей.

[0029] Согласно одному варианту осуществления настоящего изобретения, этап (c) дополнительно включает: этап (c.1): определение запланированной траектории движения на основе информации о положении зерноперерабатывающей машины, информации изображения о планировании зон, идентифицированной системой обработки изображений, и навигационной информации навигационной системы.

[0030] Согласно одному варианту осуществления настоящего изобретения, этап (c) дополнительно включает: этап (c.2): корректировка направления движения зерноперерабатывающей машины на основе информации о сельскохозяйственной культуре, идентифицированной системой обработки изображений, с целью генерирования траектории движения транспортного средства.

[0031] Согласно другому аспекту настоящего изобретения, настоящее изобретение предоставляет способ автоматического вождения для системы автоматического вождения для переработки зерна, который включает:

[0032] этап (I): получение по меньшей мере одного изображения и идентификация зоны обрабатываемой земли и границ обрабатываемой земли на изображении;

[0033] этап (II): планирование по меньшей мере одной запланированной траектории движения на основе зоны обрабатываемой земли и границ обрабатываемой земли; и

[0034] этап (III): управление зерноперерабатывающей машиной с целью автоматического движения согласно запланированной траектории движения.

[0035] Согласно одному варианту осуществления настоящего изобретения, этап (II) дополнительно включает:

[0036] получение информации о положении зерноперерабатывающей машины; и

[0037] планирование запланированной траектории движения на основе информации о положении, идентифицированных зоны обрабатываемой земли и границ обрабатываемой земли, и навигационной информации навигационной системы.

[0038] Согласно одному варианту осуществления настоящего изобретения, этап (I) дополнительно включает: идентификацию из изображения информации о сельскохозяйственной культуре на обрабатываемой земле, при этом информация о сельскохозяйственной культуре включает информацию о типе сельскохозяйственной культуры, высоте сельскохозяйственной культуры и наливе зерна.

[0039] Согласно одному варианту осуществления настоящего изобретения, способ автоматического вождения дополнительно включает: этап (IV): корректировка эксплуатационных параметров системы эксплуатации зерноперерабатывающей машины на основе информации изображения о сельскохозяйственной культуре.

[0040] Согласно еще одному аспекту настоящего изобретения, настоящее изобретение предоставляет систему автоматического вождения для переработки зерна, которая содержит:

[0041] зерноперерабатывающую машину;

[0042] систему обработки изображений, при этом система обработки изображений установлена на зерноперерабатывающей машине с целью получения по меньшей мере одного изображения обрабатываемой земли в окрестности зерноперерабатывающей машины, и система обработки изображений идентифицирует зону изображения на основе способа распознавания и сегментации изображений; и

[0043] систему планирования траектории, при этом система планирования траектории планирует по меньшей мере одну запланированную траекторию движения на основе зоны, идентифицированной системой обработки изображений, и зерноперерабатывающая машина выполняет автоматическое вождение согласно запланированной траектории движения, запланированной системой планирования траектории.

[0044] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения дополнительно содержит устройство получения изображений, при этом устройство получения изображений установлено на зерноперерабатывающей машине, и устройство получения изображений захватывает изображения спереди от зерноперерабатывающей машины.

[0045] Согласно одному варианту осуществления настоящего изобретения, система обработки изображений идентифицирует из изображения по меньшей мере одну обработанную зону, по меньшей мере одну необработанную зону и по меньшей мере одну граничную зону обрабатываемой земли.

[0046] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит:

[0047] модуль сегментации изображений, при этом модуль сегментации изображений сегментирует изображение на множество пиксельных областей, и каждая пиксельная область содержит по меньшей мере один пиксельный элемент;

[0048] модуль признаков, при этом модуль признаков извлекает признаки каждой пиксельной области на основе пиксельного элемента этой пиксельной области; и

[0049] модуль разделения области, при этом модуль разделения области идентифицирует и разделяет зону изображения согласно признакам пиксельной области.

[0050] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит: устройство определения положения и навигационную систему, при этом устройство определения положения и навигационная система расположены на зерноперерабатывающей машине, устройство определения положения получает информацию о положении зерноперерабатывающей машины, и навигационная система предоставляет навигационную информацию для зерноперерабатывающей машины.

[0051] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит: устройство определения положения и навигационную систему, при этом устройство определения положения и навигационная система расположены на зерноперерабатывающей машине, устройство определения положения получает информацию о положении зерноперерабатывающей машины, и навигационная система предоставляет навигационную информацию для зерноперерабатывающей машины.

[0052] Согласно одному варианту осуществления настоящего изобретения, система автоматического вождения для переработки зерна дополнительно содержит:

[0053] модуль установки эксплуатационной зоны, при этом модуль установки эксплуатационной зоны устанавливает граничную зону обрабатываемой земли для получения необработанной зоны обрабатываемой земли и границы эксплуатационной зоны обрабатываемой земли; и

[0054] модуль планирования траектории движения, при этом система обработки изображений идентифицирует информацию изображения о планировании зон на основе информации о положении зерноперерабатывающей машины и навигационной информации навигационной системы с целью получения по меньшей мере одной запланированной траектории движения.

[0055] Дальнейшие цели и преимущества настоящего изобретения описаны в следующем описании и графических материалах.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0056] Реализации настоящего изобретения будут описаны ниже посредством вариантов осуществления со ссылкой на прилагаемые фигуры.

[0057] На фиг. 1 представлена принципиальная схема одного варианта осуществления системы автоматического вождения для переработки зерна.

[0058] На фиг. 2 представлена принципиальная схема варианта осуществления получения изображения в системе автоматического вождения, показанной на фиг. 1.

[0059] На фиг. 3А представлена принципиальная схема варианта осуществления получения одного изображения системой автоматического вождения для переработки зерна, показанной на фиг. 1.

[0060] На фиг. 3В представлена принципиальная схема варианта осуществления получения другого изображения системой автоматического вождения, показанной на фиг. 1.

[0061] На фиг. 3С представлена принципиальная схема варианта осуществления получения другого изображения системой автоматического вождения для переработки зерна, показанной на фиг. 1.

[0062] На фиг. 4 представлена принципиальная схема одного варианта осуществления разделения и идентификации зоны изображения системой обработки изображений системы автоматического вождения для переработки зерна.

[0063] На фиг. 5А представлена принципиальная схема одного варианта осуществления сегментации зоны изображения системой обработки изображений системы автоматического вождения для переработки зерна.

[0064] На фиг. 5В представлена блок-схема одного варианта осуществления системы обработки изображений системы автоматического вождения для переработки зерна.

[0065] На фиг. 6 представлена принципиальная схема одного варианта осуществления извлечения и идентификации признака зоны изображения системой обработки изображений системы автоматического вождения.

[0066] На фиг. 7 представлена принципиальная схема одного варианта осуществления вывода изображения, разделенного на зоны, системой обработки изображений системы автоматического вождения.

[0067] На фиг. 8 представлена принципиальная схема одного варианта осуществления вывода изменения разделения границ разделенной зоны изображения системой обработки изображений системы автоматического вождения.

[0068] На фиг. 9 представлена принципиальная схема одного варианта осуществления обстановки автоматического вождения системы автоматического вождения для переработки зерна.

[0069] На фиг. 10 представлена принципиальная схема одного варианта осуществления системы планирования траектории системы автоматического вождения для переработки зерна.

[0070] На фиг. 11А представлена принципиальная схема одного варианта осуществления планирования траектории по обрабатываемой земле, генерируемого системой планирования траектории системы автоматического вождения.

[0071] На фиг. 11B представлена принципиальная схема одного варианта осуществления корректировки траектории движения системой планирования траектории системы автоматического вождения.

ПОДРОБНОЕ ОПИСАНИЕ

[0072] Следующее описание используется для раскрытия настоящего изобретения, для того чтобы специалисты в данной области техники могли реализовывать настоящее изобретение. Описанные ниже предпочтительные варианты осуществления являются лишь примерами, и специалисты в данной области техники могут придумать другие очевидные варианты осуществления. Базовые принципы настоящего изобретения, определенные в следующем описании, могут быть применены к другим вариантам осуществления, развитиям вариантов осуществления, схемам усовершенствования, эквивалентным схемам и другим техническим схемам, которые не отклоняются от сущности и объема настоящего изобретения.

[0073] Технические специалисты в данной области техники должны понимать, что в раскрытии настоящего изобретения термин «вертикальное направление», «горизонтальное направление», «верхний», «нижний», «передний», «задний», «левый», «правый», «вертикальный», «горизонтальный», «верхний», «нижний», «внутренний», «наружный» и другие указатели ориентации или взаимного расположения основаны на ориентации или взаимном расположении, показанном на графических материалах, и предназначены только для содействия описанию настоящего изобретения и упрощения описания, а не для указания или предположения того, что устройство или компонент должен иметь конкретную ориентацию в конкретном направлении и в ходе конкретной операции, поэтому приведенные выше термины не следует понимать как ограничения настоящего изобретения.

[0074] Можно понять, что термин «один» следует понимать как «по меньшей мере один» или «один или более», т.е. в одном варианте осуществления количество одного компонента может составлять один, тогда как в другом варианте осуществления количество компонентов может являться множественным, и поэтому термин «один» нельзя понимать как ограничение в отношении количества.

[0075] Со ссылкой на фиг. 1-9 описания настоящего изобретения изображены система автоматического вождения для переработки зерна, способ автоматического вождения и способ планирования траектории согласно первому варианту осуществления настоящего изобретения. Система автоматического вождения для переработки зерна может быть реализована в виде оборудования для уборки сельскохозяйственной культуры с функцией переработки зерна, оборудования для посева сельскохозяйственной культуры, оборудования для плужной обработки почвы и оборудования для защиты растений сельскохозяйственной культуры. Можно понять, что тип системы автоматического вождения для зерноперерабатывающего устройства описан в настоящем изобретении лишь в качестве примера, а не в качестве ограничения. Поэтому здесь также можно использовать оборудование для сельскохозяйственных культур других типов. Система автоматического вождения получает по меньшей мере одно изображение окружающей обстановки и визуально идентифицирует тип зоны обрабатываемой земли на изображении после обработки изображения и разделяет типы зон и границы обрабатываемой земли на изображении.

[0076] Система автоматического вождения для переработки зерна должна разделять типы зон обрабатываемой земли согласно типам и границам каждой разделенной зоны, при этом тип зоны, разделенной системой автоматического вождения, включает по меньшей мере одну обработанную зону 100, по меньшей мере одну необработанную зону 200 и по меньшей мере одну граничную зону 300 поля. Система автоматического вождения для переработки зерна определяет маршрут движения транспортного средства при помощи навигационной системы согласно типу разделенной зоны с целью достижения автоматического вождения.

[0077] Следует упомянуть, что беспилотному транспортному средству в беспилотном режиме необходимо получать точную информацию о положении транспортного средства, в частности высокоточную информацию спутниковой навигации, для идентификации маршрута, и для достижения функции беспилотного вождения на высокой скорости беспилотному транспортному средству необходимо обновлять информацию о препятствиях, информацию о других транспортных средствах, а также информацию о пешеходах и другую информацию. Изображения, получаемые системой автоматического вождения согласно настоящему изобретению, представляют собой информацию данных изображений, соответствующую зерну сельскохозяйственной культуры на обрабатываемой земле, эти изображения относятся к обстановке в окрестности транспортного средства, и эти изображения получаются на основе текущего положения транспортного средства. Система автоматического вождения не требует высокоточной информации спутниковой навигации, но лишь обычной спутниковой навигации с точностью на уровне метров (навигация GPS, навигация Beidou и т.д.). Дополнительно, изображения, получаемые и обрабатываемые системой автоматического вождения, отличаются от изображений, получаемых беспилотным транспортным средством. Поэтому планирование траектории и режим движения, определяемые системой автоматического вождения, не являются такими же, как планирование траектории и режим движения, определяемые беспилотным транспортным средством. Можно понять, что режим идентификации согласно настоящему изобретению отличается от режима идентификации беспилотного транспортного средства.

[0078] Со ссылкой на фиг. 1 и 2, система автоматического вождения получает по меньшей мере одно изображение окружающей обстановки и идентифицирует из изображений типы зон обрабатываемой земли и границу между зонами обрабатываемой земли. Система автоматического вождения получает изображение окружающей обстановки в окрестности при помощи режима фотографирования с неподвижным фокусом, режима видеозаписи, режима фотографирования в движении и т.д. Можно понять, что способ, которым система автоматического вождения получает изображения, представлен здесь лишь в качестве примера, а не в качестве ограничения. Система автоматического вождения содержит зерноперерабатывающую машину 10 и по меньшей мере одно устройство 20 получения изображений, при этом устройство 20 получения изображений получает по меньшей мере одно изображение обстановки в окрестности зерноперерабатывающей машины 10.

[0079] Предпочтительно, устройство 20 получения изображений установлено в зерноперерабатывающей машине 10. В одном варианте осуществления устройство 20 получения изображений принимает неподвижные или движущиеся изображения окрестности зерноперерабатывающей машины 10. Более предпочтительно, устройство 20 получения изображений установлено в передней части зерноперерабатывающей машины 10. В одном варианте осуществления устройство 20 получения изображений может получать изображения в реальном времени спереди от зерноперерабатывающей машины 10. Зерноперерабатывающая машина 10 идентифицирует зону обрабатываемой земли из изображений, полученных устройством 20 получения изображений, и устанавливает маршрут движения согласно разделенной зоне обрабатываемой земли. В одном варианте осуществления содержимое изображения, получаемого устройством 20 получения изображений, находится в пределах зоны видимости зерноперерабатывающей машины 10. Иначе говоря, устройство 20 получения изображений получает изображение в пределах зоны видимости зерноперерабатывающей машины 10 и корректирует направление перемещения зерноперерабатывающей машины 10 согласно положению ведущего устройства зерноперерабатывающей машины 10, установленного на зерноперерабатывающей машине 10.

[0080] В одном варианте осуществления для получения изображения устройство 20 получения изображений получает изображения обстановки в направлении перемещения зерноперерабатывающей машины 10. В одном варианте осуществления изображение может представлять собой двумерное плоское изображение или трехмерное изображение. Можно понять, что тип изображения, получаемого устройством 20 получения изображений, описан здесь лишь в качестве примера, а не в качестве ограничения.

[0081] В одном варианте осуществления зерноперерабатывающая машина 10 выполнена с возможностью выполнения переработки зерна сельскохозяйственной культуры во время процесса движения, например, переработка зерна сельскохозяйственной культуры включает уборку, возделывание, плужную обработку, посев, защиту растений, уборочные операции и т.д., например, в первом варианте осуществления настоящего изобретения зерноперерабатывающая машина 10 представляет собой уборочное оборудование, и зерноперерабатывающая машина 10 управляется с целью движения по необработанной зоне 200 обрабатываемой земли для выполнения уборочной операции с целью уборки сельскохозяйственной культуры в пределах необработанной зоны 200 обрабатываемой земли. Сельскохозяйственная культура может представлять собой рис, пшеницу, кукурузу и т.д. Зерноперерабатывающая машина 10 выполняет автоматическое вождение по обрабатываемой земле согласно зоне, разделенной при помощи изображения, полученного устройством 20 получения изображений, и проводит беспилотное вождение в поле без водителя. Можно понять, что тип зерноперерабатывающей машины 10 приведен здесь лишь в качестве примера, а не в качестве ограничения.

[0082] Как показано на фиг. 3A - 3C, устройство 20 получения изображений получает изображения обстановки в окрестности зерноперерабатывающей машины 10 в реальном времени во время процесса движения зерноперерабатывающей машины 10. На фиг. 3А показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 представляет собой зерноуборочную машину. На основании того, убрано ли зерно, зона обрабатываемой земли делится на по меньшей мере одну неубранную зону 100а, по меньшей мере одну убранную зону 200а и по меньшей мере одну граничную зону 300а обрабатываемой земли. В одном варианте осуществления убранная зона 200а представляет собой зону, в которой сельскохозяйственная культура была убрана, и сельскохозяйственная культура в убранной зоне 200а убрана. Неубранная зона 100а представляет собой зону, в которой сельскохозяйственная культура по-прежнему присутствует, и в неубранной зоне 100а выращиваемая сельскохозяйственная культура по-прежнему присутствует. Граничная зона 300а обрабатываемой земли представляет собой гребень, разделяющий сельскохозяйственные культуры на обрабатываемой земле, наружную границу вокруг обрабатываемой земли, препятствие или непригодную для возделывания зону на обрабатываемой земле. В одном варианте осуществления в граничной зоне 300а обрабатываемой земли сельскохозяйственная культура отсутствует.

[0083] На фиг. 3В показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 представляет собой машину для возделывания зерновых культур. Зона обрабатываемой земли делится на по меньшей мере одну невозделанную зону 100b, по меньшей мере одну возделанную зону 200b и по меньшей мере одну граничную зону 300b обрабатываемой земли, при этом невозделанная зона 100b представляет собой зону, в которой сельскохозяйственная культура не была возделана, а возделанная зона 200b представляет собой зону, в которой сельскохозяйственная культура была возделана. Граничная зона 300b обрабатываемой земли представляет собой гребень, разделяющий разные сельскохозяйственные культуры на обрабатываемой земле, наружную границу вокруг обрабатываемой земли или зону препятствия на обрабатываемой земле.

[0084] На фиг. 3С показано изображение, захваченное устройством 20 получения изображений, когда зерноперерабатывающая машина 10 используется в качестве устройства защиты растений, такого как устройство для опрыскивания пестицидами. Зона на обрабатываемой земле делится на по меньшей мере одну неопрысканную зону 100с, по меньшей мере одну опрысканную зону 200с и по меньшей мере одну граничную зону 300с обрабатываемой земли. Неопрысканная зона 100с представляет собой зону, в которой сельскохозяйственные культуры не были опрысканы пестицидом, опрысканная зона 200с представляет собой зону, в которой сельскохозяйственные культуры были опрысканы пестицидом, и граница 300b обрабатываемой земли представляет собой гребень, разделяющий сельскохозяйственные культуры на обрабатываемой земле, наружную границу обрабатываемой земли или зону, в которой на обрабатываемой земле имеются препятствия.

[0085] Как показано на фиг. 1 и фиг. 4, при помощи способа распознавания и сегментации изображений из изображения, полученного устройством 20 получения изображений, идентифицируются необработанная зона 100, обработанная зона 200 и граничная зона 300 обрабатываемой земли, и распознаются границы между зонами (необработанной зоной 100, обработанной зоной 200 и граничной зоной 300 обрабатываемой земли). Система автоматического вождения для переработки зерна дополнительно содержит систему 30 обработки изображений, при этом система 30 обработки изображений идентифицирует необработанную зону 100, обработанную зону 200 и граничную зону 300 обрабатываемой земли из изображения, полученного устройством 20 получения изображений.

[0086] Следует отметить, что система 30 обработки изображений использует способ распознавания и сегментации изображений для идентификации из изображения зон и границ, и зоны представляют собой зоны обрабатываемой земли спереди от зерноперерабатывающей машины 10. Границы представляют собой границы обрабатываемой земли спереди от зерноперерабатывающей машины 10. На основе зон и границ, идентифицированных системой 30 обработки изображений, с использованием технологии распознавания и сегментации изображений осуществляется управление зерноперерабатывающей машиной 10 с целью ее передвижения и эксплуатации в необработанной зоне на обрабатываемой земле. Например, устройство 20 получения изображений, установленное на переднем конце уборочного устройства получает изображение обрабатываемой земли спереди от уборочного устройства, при этом изображение, захваченное устройством 20 получения изображений, сегментируется и идентифицируется системой 30 обработки изображений с целью идентификации необработанной зоны 100, обработанной зоны 200, рабочей зоны 200 и граничной зоны 300 обрабатываемой земли. Зерноперерабатывающая машина 10, то есть машина уборочного устройства, планирует траекторию движения транспортного средства и операцию уборки на основе зон и границ, идентифицированных системой 30 обработки изображений.

[0087] Следует отметить, что система 30 обработки изображений использует технологию распознавания и сегментации изображений для идентификации типа сельскохозяйственной культуры, высоты сельскохозяйственной культуры, зрелости и другой информации из изображения, захваченного устройством 20 получения изображений. Система 30 обработки изображений может определять, была ли убрана сельскохозяйственная культура, на основе типа сельскохозяйственной культуры и высоты сельскохозяйственной культуры на идентифицированном изображении. Система 30 обработки изображений может использоваться для корректировки эксплуатационных параметров на основе налива зерна на идентифицированном изображении. Иначе говоря, система 30 обработки изображений может идентифицировать тип зоны обрабатываемой земли и границу обрабатываемой земли согласно изображению, захваченному устройством 20 получения изображений, и идентифицировать тип, высоту, налив зерна, зрелость сельскохозяйственной культуры и т.д. для сельскохозяйственной культуры на обрабатываемой земле.

[0088] В одном варианте осуществления система 30 обработки изображений идентифицирует и сегментирует изображение, полученное устройством 20 получения изображений, на зоны и границы изображения на основе одного из способа сегментации на основе порогового значения, способа сегментации на основе области, способа сегментации на основе края и способа сегментации на основе конкретной теории. В одном варианте осуществления система 30 обработки изображений использует алгоритм глубокого обучения для сегментации и идентификации изображения и выполнения разделения зон и определения границ на изображении. Иначе говоря, система 30 обработки изображений использует алгоритм глубокого обучения для идентификации из изображения зон обрабатываемой земли и границы обрабатываемой земли, и зерноперерабатывающая машина передвигается и эксплуатируется согласно идентифицированным зонам обрабатываемой земли и границе обрабатываемой земли. Более предпочтительно, система 30 обработки изображений в качестве алгоритма глубокого обучения использует для идентификации из изображения необработанной зоны 100, обработанной зоны 200 и граничной зоны 300 обрабатываемой земли технологию сегментации и идентификации изображений алгоритма сверточной нейросети.

[0089] Следует упомянуть, что алгоритм обработки, используемый системой 30 обработки изображений, представляет собой лишь пример, а не ограничение. Поэтому система 30 обработки изображений также может использовать для идентификации из изображения зоны обрабатываемой земли и границы обрабатываемой земли и другие алгоритмы сегментации и идентификации полученного изображения.

[0090] Со ссылкой на фиг. 5A и фиг. 6, система 30 обработки изображений сегментирует изображение, полученное устройством 20 получения изображений, на множество пиксельных областей 301, при этом каждая из пиксельных областей 301 содержит по меньшей мере один пиксельный элемент. Следует отметить, что изображение соответствует зоне в окрестности зерноперерабатывающей машины 10, и, соответственно, пиксельная зона 301 изображения соответствует обрабатываемой земле в конкретной зоне или информации изображения о сельскохозяйственной культуре. Каждая пиксельная область 301, образованная путем сегментации нормализуется таким образом, что пиксельный элемент пиксельной области 301 нормализуется до некоторого значения или как часть массива, соответствующего величине значения пикселя. Иначе говоря, система 30 обработки изображений нормализует сегментированную пиксельную область 301 в соответствующие значения или массивы для системы обработки изображений, извлекающей признаки изображений и разделяющей зоны.

[0091] Система 30 обработки изображений извлекает признаки изображений, соответствующие пиксельной области 301, на основе массива, который соответствует каждой пиксельной области 301. Система 30 обработки изображений получает признаки изображения, соответствующие пиксельной области 301, согласно массиву, который соответствует пиксельной области 301. В одном варианте осуществления, когда система 30 обработки изображений использует алгоритм сверточной нейросети, такой как двумерная сверточная нейросеть, входной слой сверточной нейросети соответствует двумерному массиву или трехмерному массиву в пиксельной зоне 301. Скрытый слой сверточной нейросети извлекает признаки из массива входного слоя, выбирает признаки и фильтрует признаки после их извлечения. Сверточная нейросеть выводит метку классификации пиксельной зоны 301 на основе признаков, соответствующих массиву, и эта метка классификации соответствует необработанной зоне 100, обработанной зоне 200 или граничной зоне 300 обрабатываемой земли.

[0092] Со ссылкой на фиг. 6 и фиг. 7, система 30 обработки изображений идентифицирует признаки области, соответствующие пиксельной области 301, путем извлечения признаков массива пиксельной области 301. В одном варианте осуществления признаки, соответствующие пиксельной области 301, включают признак высоты растений сельскохозяйственной культуры, расстояние между растениями сельскохозяйственной культуры на обрабатываемой земле, цвет сельскохозяйственной культуры, цвет почвы обрабатываемой земли, признаки типа сельскохозяйственной культуры, признаки высоты сельскохозяйственной культуры, расстояние между сельскохозяйственной культурой на обрабатываемой земле, признаки цвета сельскохозяйственной культуры, признаки цвета обрабатываемой земли, признаки типа сельскохозяйственной культуры, признаки обрабатываемой земли, налив зерна, количество сельскохозяйственной культуры и т.д. Система 30 обработки изображений выводит метку классификации, соответствующую пиксельной области 301, согласно извлеченным признакам. В одном варианте осуществления метка классификации соответствующим образом идентифицирует тип зоны и границу, соответствующие пиксельной области 301, на основе извлеченных признаков.

[0093] Со ссылкой на фиг. 5B, система 30 обработки изображений содержит модуль 31 сегментации изображений, модуль 32 признаков и модуль 33 разделения зон. Модуль 31 сегментации изображений получает изображение, захваченное устройством 20 получения изображений, и генерирует множество пиксельных областей 301 путем сегментации и обработки изображения. В одном варианте осуществления каждая пиксельная область 301 содержит по меньшей мере один пиксельный элемент. Модуль 32 признаков использует алгоритм глубокого обучения для извлечения типа признака пиксельной зоны 301, выбирает признак и фильтрует этот признак. Модуль 33 разделения зон разделяет изображение на основе признаков пиксельной области 301, извлеченных модулем 32 признаков, для генерирования метки классификации, соответствующей необработанной зоне 100, обработанной зоне 200 и граничной зоне 300 обрабатываемой земли.

[0094] В одном варианте осуществления модуль 31 сегментации изображений разделяет изображение на множество пиксельных областей 301, и каждая пиксельная область 301 имеет одни и те же размер, форму и диапазон. Следует отметить, что модуль 31 сегментации изображений может сегментировать изображение согласно пороговому значению пикселя изображения. То есть размер, форма и диапазон пиксельной области 301, сегментированной модулем 31 сегментации изображений, могут отличаться. В одном варианте осуществления, когда в модуле 32 признаков системы 30 обработки изображений принят для сегментации изображения алгоритм сверточной нейросети, пиксельная зона 301, разделенная модулем 31 сегментации изображений, представляет собой один пиксельный элемент.

[0095] В одном варианте осуществления модуль 32 признаков содержит модуль 321 обработки пикселей, модуль 322 извлечения признаков и модуль 323 вывода признаков. Модуль 321 обработки пикселей обрабатывает массив пиксельного элемента в пиксельной зоне 301. В одном варианте осуществления модуль 321 обработки пикселей нормализует пиксельную зону 301 в массив, подходящий для обработки. Модуль 322 извлечения признаков вводит массив пиксельной зоны 301, обработанный модулем 321 обработки пикселей, извлекает тип признаков, соответствующих этому массиву, выбирает признаки и фильтрует эти признаки с целью накопления данных в отношении доступности и исключения данных в отношении помех с тем, чтобы сделать признаки более подготовленными. Модуль 323 вывода признаков выводит признаки, извлеченные модулем 322 извлечения признаков, и модуль 33 разделения зон генерирует метку классификации соответствующей зоны в комбинации с признаками, выводимыми модулем 323 вывода признаков.

[0096] Модуль 33 разделения зон разделяет зоны изображения и устанавливает границы зон на основе признаков пиксельной области 301, извлеченных модулем 32 признаков. Соответственно, модуль 33 разделения зон дополнительно включает модуль 331 разделения зон и модуль 332 разделения границ. Модуль 331 разделения зон разделяет разные зоны согласно признакам пиксельной области 301, а модуль 332 разделения границ разделяет граничный диапазон зон с целью определения диапазона каждой зоны.

[0097] Во время движения зерноперерабатывающей машины 10 системы автоматического вождения для переработки зерна устройство 20 получения изображений получает изображения вида спереди от зерноперерабатывающей машины 10 в реальном времени. Соответственно, система 30 обработки изображений получает изображение, захваченное устройством 20 получения изображений в реальном времени, и использует технологию сегментации и идентификации изображений для идентификации разделенной зоны и граничного диапазона зоны, соответствующего обрабатываемой земле на изображении. Когда разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, не согласуются с предыдущим граничным диапазоном зоны, идентифицированная зона и граничный диапазон зоны, соответствующие изображению, корректируются.

[0098] Со ссылкой на фиг. 8, в ходе движения возникают такие проблемы, как вибрация и отклонение от направления. Когда направление движения зерноперерабатывающей машины 10 отклоняется, или разделенная зона изменяется вследствие вибрации транспортного средства, система 30 обработки изображений в реальном времени обновляет разделенную зону и граничный диапазон зоны изображения.

[0099] Со ссылкой на фиг. 1, система автоматического вождения дополнительно содержит устройство 40 определения положения и навигационную систему 50. В одном варианте осуществления устройство 40 определения положения расположено на зерноперерабатывающей машине 10. Устройство 40 определения положения получает информацию о положении зерноперерабатывающей машины 10. В одном варианте осуществления устройство 40 определения положения использует информацию о положении спутника для получения информации о положении зерноперерабатывающей машины 10. Устройство 40 определения положения может представлять собой устройство GPS или навигационное устройство Beidou. Навигационная система 50 расположена на зерноперерабатывающей машине 10. Навигационная система 50 обеспечивает навигацию для зерноперерабатывающей машины 10. Зерноперерабатывающая машина 10 выполняет автоматическое вождение и эксплуатацию на основе информации о положении устройства 40 определения положения и информации о планировании зон (такой как разделенные зоны и граничный диапазон зон), полученной системой 30 обработки изображений, а также навигационной информации навигационной системы 50.

[00100] Следует отметить, что разделенная зона и граничный диапазон обрабатываемой земли, полученные системой 30 обработки изображений, обрабатывающей изображение, обновляются согласно навигационной системе 50 в реальном времени для обновления навигационной информации навигационной системы 50. В одном варианте осуществления навигационная система 50 может представлять собой встроенную инерционную навигационную систему. Понятно, что типы навигационной системы 50 по существу являются здесь лишь примером, а не ограничением, и, таким образом, навигационная система 50 также может представлять собой навигационные устройства других типов.

[00101] Соответственно, зерноперерабатывающая машина 10 системы автоматического вождения для переработки зерна содержит транспортное средство 11, систему 12 эксплуатации, расположенную на транспортном средстве 11, и систему 13 управления движением. В одном варианте осуществления система 12 эксплуатации приводится в движение транспортным средством 11 и выполняет операцию переработки зерна, такую как уборочная операция. Система 13 управления движением управляет движением транспортного средства 11 и работой системы 12 эксплуатации. Следует упомянуть, система 13 управления движением имеет беспилотный режим и режим вождения оператором. Когда система автоматического вождения для переработки зерна находится в беспилотном режиме, система 13 управления движением автоматически управляет работой транспортного средства 11 и системы 12 эксплуатации. Соответственно, когда система автоматического вождения для переработки зерна находится в режиме вождения оператором, система 13 управления движением позволяет водителю вручную управлять транспортным средством 11 и работой системы эксплуатации.

[00102] В одном варианте осуществления система автоматического вождения для переработки зерна представляет собой уборочное устройство, при этом система 12 эксплуатации может представлять собой устройство для выполнения уборочной операции. Система 13 управления движением управляет движением транспортного средства 11 и работой системы 12 эксплуатации. Иначе говоря, система 13 управления движением управляет корректировкой эксплуатационных параметров системы 12 эксплуатации во время движения транспортного средства 11. Система 13 управления движением получает информацию системы 30 обработки изображений, такую как тип сельскохозяйственной культуры, высота сельскохозяйственной культуры, налив зерна, диаметр стеблей сельскохозяйственной культуры и т.д., и на основе полученной информации корректирует эксплуатационные параметры системы 12 эксплуатации, такие как рабочая скорость, ширина и высота системы 12 эксплуатации, и параметры среза или обмолота.

[00103] На фиг. 9 настоящего описания показана реализация системы автоматического вождения в области беспилотной работы и уборочной операции. Когда система 13 управления движением зерноперерабатывающей машины 10 находится в беспилотном режиме, система 13 управления движением получает информацию о положении транспортного средства 11, предоставляемую устройством 40 определения положения, навигационную информацию, предоставляемую навигационной системой 50, и идентификационную информацию зоны, предоставляемую системой 30 обработки изображений, при помощи которых осуществляется управление перемещением транспортного средства 11 в необработанной зоне 100 обрабатываемой земли с целью выполнения операции уборки зерна. Во время операции движения устройство 20 получения изображений в реальном времени получает изображение спереди от транспортного средства 11, при этом изображение идентифицируется системой 30 обработки изображений с использованием технологии распознавания и сегментации изображений с целью идентификации зоны и граничного диапазона зоны. Когда разделенная зона и граничный диапазон зоны, полученные системой 30 обработки изображений, не согласуются с предыдущей зоной и граничным диапазоном, система 30 обработки изображений заменяет исходную зону и граничный диапазон зоны, и обновляет навигационные данные навигационной системы 50 так, что система 13 управления движением получает новую навигационную информацию для корректировки движения и рабочего маршрута транспортного средства 11.

[00104] Как показано на фиг. 10-11В, на основе информации о положении зерноперерабатывающей машины 10, полученной устройством 40 определения положения, информации о планировании зон, идентифицированной системой 30 обработки изображений, и навигационной информации навигационной системы 50 система автоматического вождения для переработки зерна генерирует по меньшей мере одну запланированную траекторию. Система 13 управления движением зерноперерабатывающей машины 10 управляет движением транспортного средства 11 и работой системы 12 эксплуатации согласно сгенерированной запланированной траектории. В одном варианте осуществления система автоматического вождения для переработки зерна дополнительно содержит систему 60 планирования траектории, при этом система 60 планирования траектории планирует по меньшей мере одну траекторию движения транспортного средства 11 для зерноперерабатывающей машины 10. Система 60 планирования траектории получает информацию о положении устройства 40 определения положения, получает информацию изображения о планировании зон, идентифицированную системой 30 обработки изображений, получает навигационную информацию навигационной системы 50 и планирует траекторию движения транспортного средства 11 согласно полученной информации.

[00105] Со ссылкой на фиг. 11A и фиг. 11B, система 60 планирования траектории идентифицирует или устанавливает по меньшей мере одну эксплуатационную зону 601 и по меньшей мере одну границу 602 эксплуатационной зоны на обрабатываемой земле, при этом эксплуатационная зона 601 представляет собой наибольший диапазон эксплуатации системы автоматического вождения для переработки зерна, и система 13 управления движением управляет перемещением транспортного средства 11 в пределах границы 602 эксплуатационной зоны. Следует отметить, что эксплуатационную зону 601 и границу 602 эксплуатационной зоны можно идентифицировать при помощи системы 30 обработки изображений, идентифицирующей граничную зону 300 обрабатываемой земли на изображении. Альтернативно, эксплуатационную зону 601 системы автоматического вождения может устанавливать система 60 планирования траектории.

[00106] Система 60 планирования траектории планирует по меньшей мере одну траекторию движения на основе самой внешней части границы 602 эксплуатационной зоны 601. Когда ширина эксплуатационной зоны 601 больше рабочей ширины системы 12 эксплуатации, система 60 планирования траектории планирует маршрут движения «круговой» формы или маршрут движения s-образной формы. Следует отметить, что способ, которым маршрут движения планируется системой 60 планирования траектории, представляет собой лишь пример, а не ограничение. Поэтому также могут применяться другие маршруты движения.

[00107] В одном варианте осуществления, когда транспортное средство 11 перемещается к границе на дальнем конце эксплуатационной зоны 601, система 60 планирования траектории изменяет план по меньшей мере одной траектории движения на основе диапазона текущей необработанной зоны 100. То есть когда транспортное средство 11 движется к дальнему концу эксплуатационной зоны 601, эксплуатационная зона 601 и граница 602 эксплуатационной зоны обновляются системой 60 планирования траектории для транспортного средства 11, и согласно обновленной эксплуатационной зоне 601 планируется новая траектория движения.

[00108] Следует отметить, что система 13 управления движением управляет транспортным средством 11 с целью движения согласно траектории движения, запланированной системой 60 планирования траектории. В одном варианте осуществления система 13 управления движением управляет системой 12 эксплуатации с целью уборки самой внешней сельскохозяйственной культуры эксплуатационной зоны 401. То есть система 13 управления движением управляет системой 12 эксплуатации с целью уборки сельскохозяйственной культуры в необработанной зоне 100 на основе границы 602 эксплуатационной зоны.

[00109] Со ссылкой на фиг. 10, система 60 планирования траектории системы автоматического вождения для переработки зерна содержит модуль 61 установки зоны, модуль 62 планирования траектории и модуль 63 корректировки траектории. Модуль 61 установки зоны идентифицирует эксплуатационную зону 601 и границу 602 эксплуатационной зоны обрабатываемой земли на основе системы 30 обработки изображений, идентифицирующей граничную зону обрабатываемой земли на изображении, или на основе установки зерноперерабатывающей машины на эксплуатацию в эксплуатационной зоне 601 в пределах границы 602 эксплуатационной зоны на обрабатываемой земле. Так как эксплуатация зерноперерабатывающей машины 10 вызывает изменение необработанной зоны 100 и обработанной зоны 200, модуль 61 установки зоны в реальном времени обновляет диапазон эксплуатационной зоны 601 и границу 602 эксплуатационной зоны с целью генерирования новой необработанной зоны 100 и новой обработанной зоны 200.

[00110] Модуль 62 планирования траектории получает по меньшей мере одну запланированную траекторию 603 движения на основе информации о положении зерноперерабатывающей машины 10, информации изображения о планировании зон, идентифицированной системой 30 обработки изображений, и навигационной информации навигационной системы 50. В одном варианте осуществления система 13 управления движением управляет транспортным средством 11 с целью движения согласно запланированной траектории 603 движения. Модуль 63 корректировки траектории корректирует направление движения зерноперерабатывающего устройства 10 на основе информации изображения о сельскохозяйственной культуре, идентифицированной системой 30 обработки изображений, с целью генерирования траектории 604 движения транспортного средства, при этом траектория 604 движения транспортного средства в основном совпадает или является параллельной запланированной траектории 603 движения. Когда система 30 обработки изображений идентифицирует необходимость корректировки диапазона уборки, траектория движения транспортного средства, сгенерированная модулем 63 корректировки траектории, отклоняется от запланированной траектории 603 движения.

[00111] Согласно еще одному варианту осуществления настоящего изобретения, настоящее изобретение дополнительно предоставляет способ планирования траектории, используемый в системе автоматического вождения для переработки зерна, который включает приведенные ниже этапы.

[00112] (a) Получение по меньшей мере одного изображения обрабатываемой земли в окрестности зерноперерабатывающей машины 10.

[00113] (b) Идентификация и разделение зоны обрабатываемой земли и границы обрабатываемой земли, соответствующих изображению.

[00114] (с) Планирование по меньшей мере одной запланированной траектории 603 движения на основе идентифицированной зоны.

[00115] Способ планирования траектории дополнительно включает следующие этапы: (a.0) установка эксплуатационной зоны 601 обрабатываемой земли и по меньшей мере одной границы 602 эксплуатационной зоны, соответствующей эксплуатационной зоне 601. Следует отметить, что эксплуатационная зона 601 обрабатываемой земли содержит обработанную зону 200, необработанную зону 100 и граничную зону 300 обрабатываемой земли. Граничная зона 300, соответствующая наружной части обрабатываемой земли, совпадает с границей 602 эксплуатационной зоны.

[00116] Этап (a.0) способа планирования траектории дополнительно включает следующие этапы: идентификация эксплуатационной зоны 601 и границы 602 эксплуатационной зоны обрабатываемой земли системой 30 обработки изображений, идентифицирующей из изображения зону и границу обрабатываемой земли.

[00117] Этап (b) способа планирования траектории дополнительно включает следующие этапы: использование методики сегментации изображения для сегментации изображения и идентификация и разделение области изображения.

[00118] На этапе (a) вышеописанного способа планирования траектории информация изображения окрестности зерноперерабатывающей машины 10 захватывается в реальном времени на основе положения и направления движения зерноперерабатывающей машины 10. На этапе (b) вышеописанного способа планирования траектории система обработки изображений использует технологию сегментации изображений для сегментации информации изображения и идентифицирует и разделяет области из изображения на необработанную область 100, обработанную область 200 и граничную область 300 обрабатываемой земли. Этап (b) способа планирования траектории дополнительно включает следующие этапы.

[00119] (b.1) Разделение изображения на множество пиксельных областей 301 и нормализация значений пикселей пиксельных областей 301 в массив.

[00120] (b.2) Извлечение признаков пиксельных областей 301, соответствующих каждому массиву.

[00121] (b.3) Вывод метки классификации изображения на основе признаков пиксельной области 301.

[00122] На этапе (b.3) способа планирования траектории метка классификации соответствует необработанной зоне 100, обработанной зоне 200 и граничной зоне 300 обрабатываемой земли.

[00123] На этапе (b) вышеописанного способа планирования траектории система 30 обработки изображений использует для разделения изображения и идентификации зон изображения алгоритм сверточной нейросети глубокого обучения.

[00124] На этапе (с) способ планирования траектории дополнительно включает этап (с.1): получение запланированной траектории 603 движения на основе информации о положении зерноперерабатывающей машины 10, идентификации системой 30 обработки изображений информации изображения о планировании зон и навигационной информации навигационной системы 50.

[00125] Этап (c) способа планирования траектории дополнительно включает этап (с.2): корректировка направления движения зерноперерабатывающей машины 10 на основе информации о том, что система 30 обработки изображений распознала сельскохозяйственную культуру на изображении, с целью образования траектории 604 движения транспортного средства.

[00126] Способ планирования траектории дополнительно включает: этап (d) сравнительного определения того, согласуются ли разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, с предыдущим граничным диапазоном зоны, корректировки разделенной зоны и граничного диапазона зоны, соответствующих изображению, когда разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, согласуются с предыдущим граничным диапазоном зоны, и сохранение разделенной зоны и граничного диапазона зоны без изменений, когда разделенная зона и граничный диапазон зоны, идентифицированные системой 30 обработки изображений, не согласуются с предыдущим граничным диапазоном зоны.

[00127] Согласно еще одному аспекту настоящего изобретения, настоящее изобретение дополнительно предоставляет способ автоматического вождения, применимый в системе автоматического вождения для переработки зерна, который включает следующие этапы.

[00128] (1) Получение по меньшей мере одного изображения и идентификация зоны обрабатываемой земли и границы зоны обрабатываемой земли на изображении;

[00129] (2) Планирование на основе зоны и границы зоны обрабатываемой земли по меньшей мере одной запланированной траектории 603 движения.

[00130] (3) Управление зерноперерабатывающей машиной 10 с целью автоматического движения согласно запланированной траектории 603 движения.

Этап (I) включает способ автоматической идентификации зоны обрабатываемой земли и границы обрабатываемой земли, предоставляемый настоящим изобретением. Система 13 управления движением управляет движением и работой зерноперерабатывающей машины 10 на основе зоны обрабатываемой земли и границы обрабатываемой земли, идентифицированных системой 30 обработки изображений.

[00132] Этап (I) способа автоматического вождения дополнительно включает: идентификацию на изображении соответствующей информации о сельскохозяйственной культуре на обрабатываемой земле, при этом информация о сельскохозяйственной культуре на обрабатываемой земле включает информацию о типе сельскохозяйственной культуры, высоте сельскохозяйственной культуры и наливе зерна.

[00133] Этап (II) способа автоматического вождения дополнительно включает следующие этапы.

[00134] Получение информации о положении зерноперерабатывающей машины 10.

[00135] Планирование запланированной траектории 603 движения на основе информации о положении, идентификационной информации изображения и навигационной информации навигационной системы.

[00136] Соответственно, на этапе (III) система 13 управления движением управляет движением транспортного средства 11 зерноперерабатывающей машины 10 согласно положению зерноперерабатывающей машины 10, информации о планировании зон обрабатываемой земли, полученной системой 30 обработки изображений, и навигационной информации.

[00137] Способ автоматического вождения дополнительно включает этап (IV): корректировка эксплуатационных параметров системы 12 эксплуатации зерноперерабатывающей машины 10 на основе идентифицированной информации изображения.

[00138] Специалисты в данной области техники должны понимать, что приведенное выше описание и варианты осуществления настоящего изобретения, показанные на графических материалах, являются лишь примерами и не ограничивают настоящее изобретение. Цель настоящего изобретения была полностью и эффективно достигнута. Функция и конструктивный принцип настоящего изобретения были показаны и объяснены в вариантах осуществления. Без отступления от принципа реализация настоящего изобретения может иметь любое изменение формы или модификацию.

Настоящее изобретение относится к сельскому хозяйству, к области автономного вождения сельскохозяйственных машин, в частности к системе автоматического вождения для переработки зерна, способу автоматического вождения и способу планирования траектории. Система автоматического вождения для переработки зерна содержит зерноперерабатывающую машину, систему обработки изображений, систему планирования траектории и устройство получения изображений. Система обработки изображений расположена на зерноперерабатывающей машине и получает по меньшей мере одно изображение обрабатываемой земли, окружающей зерноперерабатывающую машину. Система обработки изображений идентифицирует на основе способа идентификации и сегментации изображений зону на изображении; и система планирования траектории планирует по меньшей мере одну запланированную траекторию движения на основе зоны, идентифицированной системой обработки изображений. Зерноперерабатывающая машина автоматически управляет движением согласно запланированной траектории движения, которая запланирована системой планирования траектории. 3 н. и 16 з.п. ф-лы, 11 ил.

1. Способ планирования траектории системы автоматического вождения для переработки зерна, включающий:

этап (a): получение по меньшей мере одного изображения обрабатываемой земли, окружающей зерноперерабатывающую машину;

этап (b): идентификация и разделение зон обрабатываемой земли и границ обрабатываемой земли, соответствующих изображению обрабатываемой земли, при этом этап (b) включает:

этап (b.1): сегментация по меньшей мере одного изображения обрабатываемой земли на множество пиксельных областей и нормализация значений пикселей множества пиксельных областей в массив;

этап (b.2): извлечение признаков множества пиксельных областей, соответствующих массиву; и

этап (b.3): вывод метки классификации по меньшей мере одного изображения обрабатываемой земли на основе извлеченных признаков множества пиксельных областей; и

этап (c): планирование по меньшей мере одной запланированной траектории движения на основе идентифицированных зон обрабатываемой земли и идентифицированных границ обрабатываемой земли.

2. Способ планирования траектории по п. 1, отличающийся тем, что дополнительно включает:

этап (a.0): установка эксплуатационной зоны обрабатываемой земли и по меньшей мере одной границы эксплуатационной зоны, соответствующей этой эксплуатационной зоне.

3. Способ планирования траектории по п. 2, отличающийся тем, что этап (а.0) дополнительно включает:

идентификацию эксплуатационной зоны и по меньшей мере одной границы эксплуатационной зоны обрабатываемой земли системой обработки изображений, которая также идентифицирует по меньшей мере одно изображение обрабатываемой земли.

4. Способ планирования траектории по п. 3, отличающийся тем, что этап (а) дополнительно включает:

фотографирование в реальном времени изображения окрестности системы автоматического вождения на основе положения системы автоматического вождения для переработки зерна.

5. Способ планирования траектории по п. 1, отличающийся тем, что этап (b) дополнительно включает:

сегментацию изображения обрабатываемой земли путем применения способа сегментации изображений, идентификацию и разделение зон изображения.

6. Способ планирования траектории по п. 5, отличающийся тем, что этап (b) дополнительно включает:

применение системой обработки изображений способа сегментации изображений к изображению обрабатываемой земли и разделение зон на изображении на необработанную зону, обработанную зону и граничную зону обрабатываемой земли.

7. Способ планирования траектории по п. 1, отличающийся тем, что этап (с) дополнительно включает:

этап (c.1): определение запланированной траектории движения на основе информации о положении зерноперерабатывающей машины, информации о планировании зон из по меньшей мере одного изображения обрабатываемой земли, идентифицированного системой обработки изображений, и навигационной информации навигационной системы.

8. Способ планирования траектории по п. 1, отличающийся тем, что этап (с) дополнительно включает:

этап (c.2): корректировка направления движения зерноперерабатывающей машины на основе информации о сельскохозяйственной культуре, идентифицированной системой обработки изображений, с целью генерирования траектории движения транспортного средства.

9. Способ автоматического вождения системы автоматического вождения для переработки зерна, включающий:

этап (I): получение по меньшей мере одного изображения и идентификация зон обрабатываемой земли и границ обрабатываемой земли на изображении, включающий:

этап (b.1): сегментация по меньшей мере одного изображения обрабатываемой земли на множество пиксельных областей и нормализация значений пикселей множества пиксельных областей в массив;

этап (b.2): извлечение признаков множества пиксельных областей, соответствующих массиву; и

этап (b.3): вывод метки классификации по меньшей мере одного изображения обрабатываемой земли на основе извлеченных признаков множества пиксельных областей;

этап (II): планирование по меньшей мере одной запланированной траектории движения на основе зон обрабатываемой земли и границ обрабатываемой земли; и

этап (III): управление зерноперерабатывающей машиной с целью автоматического движения согласно запланированной траектории движения.

10. Способ автоматического вождения по п. 9, отличающийся тем, что этап (II) дополнительно включает:

получение информации о положении зерноперерабатывающей машины; и

планирование запланированной траектории движения на основе информации о положении, идентифицированных зон обрабатываемой земли и границ обрабатываемой земли и навигационной информации навигационной системы.

11. Способ автоматического вождения по п. 10, отличающийся тем, что этап (I) дополнительно включает:

идентификацию из изображения информации о сельскохозяйственной культуре на обрабатываемой земле, при этом информация о сельскохозяйственной культуре включает информацию о типе сельскохозяйственной культуры, высоте сельскохозяйственной культуры и наливе зерна.

12. Способ автоматического вождения по п. 11, отличающийся тем, что дополнительно включает:

этап (IV): корректировка эксплуатационных параметров системы эксплуатации зерноперерабатывающей машины на основе информации изображения о сельскохозяйственной культуре.

13. Система автоматического вождения для переработки зерна, содержащая:

зерноперерабатывающую машину;

систему обработки изображений, которая установлена на зерноперерабатывающей машине с целью получения по меньшей мере одного изображения обрабатываемой земли, окружающей зерноперерабатывающую машину, и система обработки изображений идентифицирует зоны изображения на основе способа распознавания и сегментации изображений, при этом система обработки изображений содержит:

модуль сегментации изображений, который сегментирует изображение на множество пиксельных областей, при этом каждая пиксельная область содержит по меньшей мере один пиксельный элемент;

модуль признаков, который извлекает признаки каждой пиксельной области на основе пиксельного элемента этой пиксельной области; и

модуль разделения области, который идентифицирует и разделяет зоны изображения согласно признакам пиксельной области; и

систему планирования траектории, которая планирует по меньшей мере одну запланированную траекторию движения на основе зон, идентифицированных системой обработки изображений, при этом зерноперерабатывающая машина выполняет автоматическое вождение согласно запланированной траектории движения, запланированной системой планирования траектории.

14. Система автоматического вождения для переработки зерна по п. 13, отличающаяся тем, что дополнительно содержит устройство получения изображений, при этом устройство получения изображений установлено на зерноперерабатывающей машине и устройство получения изображений захватывает изображение спереди от зерноперерабатывающей машины.

15. Система автоматического вождения для переработки зерна по п. 14, отличающаяся тем, что система обработки изображений идентифицирует из изображения по меньшей мере одну обработанную зону, по меньшей мере одну необработанную зону и по меньшей мере одну граничную зону обрабатываемой земли.

16. Система автоматического вождения для переработки зерна по п. 13, отличающаяся тем, что дополнительно содержит устройство определения положения и навигационную систему, при этом устройство определения положения и навигационная система расположены на зерноперерабатывающей машине, устройство определения положения получает информацию о положении зерноперерабатывающей машины и навигационная система предоставляет навигационную информацию для зерноперерабатывающей машины.

17. Система автоматического вождения для переработки зерна по п. 16, отличающаяся тем, что дополнительно содержит устройство определения положения и навигационную систему, при этом устройство определения положения и навигационная система расположены на зерноперерабатывающей машине, устройство определения положения получает информацию о положении зерноперерабатывающей машины и навигационная система предоставляет навигационную информацию для зерноперерабатывающей машины.

18. Система автоматического вождения для переработки зерна по п. 16, отличающаяся тем, что дополнительно содержит:

модуль установки эксплуатационной зоны, который устанавливает граничную зону обрабатываемой земли для получения необработанной зоны обрабатываемой земли и границы эксплуатационной зоны обрабатываемой земли; и

модуль планирования траектории движения, который идентифицирует информацию изображения о планировании зон на основе информации о положении зерноперерабатывающей машины и навигационной информации навигационной системы с целью получения по меньшей мере одной запланированной траектории движения.

19. Система автоматического вождения для переработки зерна по п. 17, отличающаяся тем, что дополнительно содержит:

модуль установки эксплуатационной зоны, который устанавливает граничную зону обрабатываемой земли для получения необработанной зоны обрабатываемой земли и границы эксплуатационной зоны обрабатываемой земли; и

модуль планирования траектории движения, который идентифицирует информацию изображения о планировании зон на основе информации о положении зерноперерабатывающей машины и навигационной информации навигационной системы с целью получения по меньшей мере одной запланированной траектории движения.