СПОСОБ НАВИГАЦИИ СЕЛЬСКОХОЗЯЙСТВЕННОГО ТРАНСПОРТНОГО СРЕДСТВА И СЕЛЬСКОХОЗЯЙСТВЕННОЕ ТРАНСПОРТНОЕ СРЕДСТВО Российский патент 2014 года по МПК A01F15/08 G08G1/968 

Область техники

Изобретение относится к способу навигации сельскохозяйственного транспортного средства, оснащенного устройством создания трехмерных изображений для изображения окружения транспортного средства и устройством для обработки изображений.

Уровень техники

В области сельского хозяйства существует потребность в измерении или настройке скорости движения, положения, курса и других параметров транспортного средства с целью обеспечения возможности навигации транспортного средства и любого присоединенного к нему оборудования на сельскохозяйственном поле.

Способы и устройства, которые используются в настоящее время в навигации сельскохозяйственных транспортных средств, содержат:

колесную одометрию, в которой используются кодировщики для измерения числа оборотов, выполненных колесом. Колесная одометрия чувствительна к давлению в шинах и проскальзыванию колес. Она не отражает абсолютного положения и дает накопление погрешностей по времени. Углы поворота колес трудно поддаются точному измерению из-за проскальзывания управляемых колес;

радар, который может использоваться для оценки скоростей и на который не оказывают влияния проблемы проскальзывания колес. Однако он менее точен вследствие физических путей измерения сигналов. Соответственно, радар не особенно пригоден для точного определения положения;

глобальную система навигации и определения положения (Global Positioning System, далее - система GPS), которая в зависимости от типа используемого датчика (в диапазоне от дешевых систем низкой точности до дорогостоящих систем высокой точности) может давать полную оценку трехмерного положения. Один из недостатков системы GPS заключается в том, что она требует беспрепятственной линии связи со спутниками GPS. В типовом случае это не всегда может быть обеспечено, так что система имеет тенденцию к временным сбоям. В системе GPS имеется множество источников ошибок, в том числе многоканальные погрешности и атмосферные влияния. При сельскохозяйственном использовании типовыми ситуациями, когда система GPS работает неудовлетворительно, являются близость строений или деревьев (например, на краю поля) и холмистая местность;

инерционные навигационные системы (ИНС), содержащие инерционный измерительный блок с тремя акселерометрами и тремя гироскопами, которые измеряют ускорения и угловые скорости на всех трех пространственных осях (шесть степеней свободы).

Наиболее точные системы, имеющиеся в коммерческом обороте, содержат систему GPS и датчики инерционного измерительного блока для определения положения. Эти системы обычно называются системами GPS с поддержкой инерционных навигационных систем (ИНС). В системе этого типа проблема состоит в том, что оценка положения быстро теряет достоверность при потере сигнала GPS. Кроме того, она имеет длительное время установления сигнала до того, как станет работать стабильно.

В патентном документе US 2004/0221790 А1 описаны способ и прибор для оптической одометрии, которые могут быть осуществлены, например, в сельхозмашине, такой как трактор, в тележке для покупок или в автомобильной противоблокировочной тормозной системе. Прибор содержит электронный формирователь сигналов изображения, такой как монокулярная камера, которая направлена вертикально вниз для создания изображений земли под машиной, то есть работает таким же образом, как оптическая компьютерная мышь. Предлагается также комбинация с системой GPS.

В патентном документе US 2007/0288141 А1 описан способ визуальной одометрии с использованием стереокамеры в одном из примеров осуществления. Предполагается осуществление способа в требующем навигации объекте, таком как автономное (то есть не управляемое человеком) транспортное средство или робот. В тексте упомянута навигация на сложной или опасной местности без необходимости подвергать риску операторов. Таким образом, предполагаемая область применения далека от сельского хозяйства. Предлагается обеспечение способа визуальной одометрии данными от других датчиков, таких как датчики системы GPS, инерционные или механические датчики. Согласно способу последовательность кадров изображений принимают и анализируют для установления изменения позиции и, соответственно, новой позиции камеры, обеспечивающей кадры изображений. Согласно способу характерные точки находят в первом кадре и затем их отслеживают в последующих кадрах, например, в течение того периода, пока они находятся в поле зрения. На основании последовательности кадров изображений многократно устанавливают инкрементные оценки позиции. Когда критерий достигнут, многократные операции прекращают и вводят сетевой экран, так что дальнейшие триангуляции точек в трехмерном пространстве не производятся, а используются наблюдения, предшествующие последнему сетевому экрану. Таким образом, данный способ как бы начинается от сетевого экрана, и изменения позиции вычисляются до нового сетевого экрана. При этом ценная информация об изменении позиции непосредственно перед последним сетевым экраном теряется для последующих оценок. Это негативно влияет на точность способа и надежность его результатов.

В патентном документе WO 2007/031093 А1 описано сельскохозяйственное транспортное средство, оснащенное устройством создания трехмерных изображений, которое создает изображение участка земли вокруг транспортного средства перед ним. Устройство создания трехмерных изображений используется для отслеживания валка растительности на земле с целью подбора валка машиной для формирования тюков.

Раскрытие изобретения

Задачей изобретения является создание способа навигации сельскохозяйственного транспортного средства, обеспечивающего повышение точности навигации.

Согласно изобретению способ содержит следующие этапы: от устройства создания трехмерных изображений получают кадры, изображающие, по меньшей мере, участок окружения транспортного средства в различные моменты времени при движении транспортного средства, таким образом обеспечивая хронологическую последовательность кадров, анализируют кадры и устанавливают изменение позиции транспортного средства, используя результаты анализа по меньшей мере двух хронологически различных кадров. Использование кадров (или изображений, или картин), получаемых от устройства создания трехмерных изображений, обеспечивает высокую точность и, соответственно, точную навигацию.

Установление изменения позиции транспортного средства на основе кадров, изображающих окружение транспортного средства в различные моменты времени, обычно называют «визуальной одометрией».

В данном контексте термин «позиция» означает положение и ориентацию. Таким образом, положение тела изменяется посредством поступательного движения, а ориентация тела изменяется посредством поворота.

Устройство создания трехмерных изображений может быть одним из множества известных устройств, в том числе стереокамерой или устройствами, работающими на принципе времени пролета, и т.д. В случае использования стереокамеры, содержащей левый объектив и правый объектив, следует понимать, что один кадр включает в себя левый кадр и правый кадр, снимаемые соответственно левым и правым объективами.

Предпочтительно транспортное средство оснащено по меньшей мере одним дополнительным навигационным датчиком, причем сигнал от этого по меньшей мере одного навигационного датчика используют при установлении изменения позиции. Комбинация датчиков способствует повышению точности способа.

Предпочтительно этот по меньшей мере один навигационный датчик выбирают из группы, содержащей: датчик системы GPS, инерционный измерительный блок, измеритель угла рулевого управления, указывающий угол поворота управляемых колес сельскохозяйственного транспортного средства, и индикатор числа оборотов колес.

Визуальная одометрия по данному изобретению обеспечивает данные о трехмерном приращении положения и поворота (шесть степеней свободы) с высокой точностью. Некоторым образом это подобно оснащению инерционным измерительным блоком. В то время как инерционный измерительный блок измеряет ускорения, визуальная одометрия обеспечивает измерение изменений в положении. Поэтому инерционный измерительный блок дает погрешность с ростом по времени, в то время как визуальная одометрия обеспечивает результат, дающий погрешность с ростом по расстоянию. Таким образом, инерционные измерительные блоки лучше на высоких скоростях, а визуальная одометрия лучше на низких скоростях, типичных для сельского хозяйства. Визуальная одометрия не может измерять гравитацию, поэтому не подвержена возмущениям от нее, но также и не может использовать ее для указания направления «вниз» (задаваемого направлением гравитации).

За счет использования визуальной одометрии в сочетании с ИНС (инерционной системой навигации) с использованием системы GPS, инерционного измерительного блока и/или одометрии колес может достигаться лучшее определение положения. Если система GPS становится неустойчивой или если сигнал теряется на короткие или более долгие периоды времени, то навигационная система на основе инерционного измерительного блока быстро теряет траекторию положения машины. Подробным же образом трудно полагаться на одометрию колес в помощь определению положения, поскольку она подвержена проблемам проскальзывания колес (это особенно характерно для сельскохозяйственных транспортных средств). За счет включения визуальной одометрии в такую навигационную систему точное определение положения может обеспечиваться в более продолжительные периоды времени. Преимущество состоит также в том, что такая система имеет более короткое установочное время перед работой в устойчивом режиме. Современные ИНС требуют определенного времени работы до установления устойчивого режима. Общая точность также повышается, так как визуальная одометрия может обеспечивать более быстрое обновление положения по сравнению с системой GPS. И, наконец, на низких скоростях содержащая визуальную одометрию навигационная система будет более точной, поскольку навигационные системы только на основе GPS и инерционного измерительного блока имеют тенденцию плохо работать на низких скоростях движения.

Согласно изобретению предпочтительно анализ кадров содержит установление отличительных признаков в кадрах, установление трехмерной информации об отличительных признаках, найденных в кадрах, подбор в пары отличительных признаков, найденных в одном кадре, с отличительными признаками, найденными во втором, более раннем кадре, и установление изменения позиции между этим одним кадром и вторым кадром на основе относительных положений подобранных в пары отличительных признаков в двух кадрах. За счет того, что, начиная с одного кадра, определяют отличительные признаки и затем прослеживают их в более раннем кадре (насколько они присутствуют в этом втором кадре), обеспечивается извлечение из более раннего кадра по возможности максимальной информации.

В том случае, когда устройство создания трехмерных изображений является стереокамерой, установление трехмерной информации включает в себя, например, выявление и подбор в пары отличительных признаков левого и правого кадров и выполнение триангуляции для получения информации о третьем измерении. В том случае, когда устройство создания трехмерных изображений основано на принципе времени пролета, трехмерная информация поступает в распоряжение сразу же.

Предпочтительно изменение позиции между этим одним кадром и вторым кадром сравнивают с предварительно определенным изменением позиции и этот первый кадр отвергают, если изменение позиции меньше указанного предварительно определенного изменения позиции. Предпочтительно этот шаг исключения выполняют только в том случае, если метод, используемый для оценки изменения позиции, обеспечивает достаточно высокий процент учтенных признаков в подобранных в пары отличительных признаках. Благодаря исключению кадров, показывающих только малые изменения позиции относительно предыдущего кадра, повышается точность способа.

Предпочтительно, подбор в пару отличительного признака, найденного во втором кадре, с отличительным признаком, найденным в указанном одном кадре, содержит установление области поиска во втором кадре, в пределах которой предполагается нахождение отличительного признака на основе знания о текущем движении транспортного средства. За счет этого снижается до минимума риск неправильного подбора, что повышает достоверность способа.

В том случае, когда транспортное средство оснащено дополнительными навигационными датчиками, - например инерционным измерительным блоком, - это знание о текущем движении транспортного средства предпочтительно устанавливают на основе информации от по меньшей мере одного дополнительного навигационного датчика. Таким образом, область поиска может быть установлена, даже если визуальная одометрия в какой-то момент дает плохую оценку изменению позиции транспортного средства. При этом, например, инерционный измерительный блок, возможно, в комбинации с одометрией колес может давать оценку изменению позиции в промежутке между получением двух кадров.

Согласно предпочтительному примеру осуществления информацию об отличительных признаках в не отвергнутом кадре записывают в памяти отличительные признаки, найденные в одном кадре и подобранные в пары с отличительными признаками во втором кадре, прослеживают назад в хронологической последовательности кадров, а изменения позиции между различными, в особенности хронологически соседними кадрами, в которых прослежены такие отличительные признаки, учитывают для установления изменения позиции на протяжении хронологической последовательности. Прослеживание найденных в одном кадре отличительных признаков дальше назад, чем только в ближайшем предыдущем кадре, дает больше информации и повышает достоверность способа.

Предпочтительно отличительные признаки, найденные в одном кадре и подобранные в пары с отличительными признаками во втором кадре, прослеживают назад как можно дальше в хронологической последовательности кадров. Таким образом, в распоряжение способа предоставляется по возможности максимальная информация, что дополнительно повышает его эффективность.

В одном из примеров осуществления кадры в хронологической последовательности, в которых отличительные признаки указанного одного кадра не прослежены, исключают из хронологической последовательности. Когда отличительные признаки, найденные в текущем кадре, уже не прослеживаются в более старом кадре, этот более старый кадр больше не нужен и поэтому исключается из последовательности для записи в память. После этого оценку текущей позиции транспортного средства предпочтительно устанавливают на основе позиции транспортного средства на время наиболее старого кадра в хронологической последовательности, в котором прослежены отличительные признаки указанного одного кадра, и изменения позиции между этим наиболее старым кадром и указанным одним кадром. Таким образом, текущую позицию устанавливают на основе максимально возможного объема информации, тем самым обеспечивая наиболее точную оценку позиции.

В примере осуществления, когда транспортное средство содержит измеритель угла рулевого управления, измеряющий угол поворота управляемых колес сельскохозяйственного транспортного средства, способ дополнительно содержит сравнение изменения позиции транспортного средства и угла поворота управляемых колес. За счет этого обеспечивается возможность определения угла проскальзывания управляемых колес.

В примере осуществления, когда транспортное средство содержит датчик глобального направления, определяющий глобальное направление движения транспортного средства, способ дополнительно содержит сравнение изменения позиции транспортного средства с глобальным направлением движения транспортного средства. За счет этого обеспечивается возможность определения действительной ориентации транспортного средства в земных координатах.

В примере осуществления, когда транспортное средство содержит индикатор числа оборотов, соединенный с ведущими колесами транспортного средства, способ дополнительно содержит сравнение скорости транспортного средства, указываемой индикатором числа оборотов, с изменением позиции транспортного средства. Это дает возможность определять проскальзывание ведущих колес транспортного средства.

Предпочтительно непрерывно устанавливают изменение позиции специфического участка на транспортном средстве. За счет этого можно непрерывно определять, например, положение точки сцепки между трактором и прицепленным оборудованием для более точного управления этим оборудованием.

Данное изобретение относится также к сельскохозяйственному транспортному средству, в особенности трактору или самоходному сельскохозяйственному орудию, такому как комбайн или машина для формирования тюков, содержащему устройство создания трехмерных изображений, компьютерную систему, содержащую устройство обработки изображений, по меньшей мере один навигационный датчик, предпочтительно выбранный из группы, содержащей: датчик системы GPS, инерционный измерительный блок, измеритель угла рулевого управления для измерения угла поворота управляемых колес сельскохозяйственного транспортного средства и индикатор числа оборотов колес и читаемую компьютером среду, в которой записан набор инструкций, обеспечивающих при их запуске компьютерной системой выполнение этой компьютерной системой способа в соответствии с изобретением.

Краткий перечень чертежей

Далее со ссылками на прилагаемые чертежи будут подробно описаны примеры осуществления изобретения. На чертежах:

фиг.1 изображает навигацию трактора в соответствии с изобретением, фиг.2 изображает блок-схему, иллюстрирующую способ по изобретению, фиг.3 изображает трактор, следующий по криволинейному участку пути, фиг.4 изображает трактор, следующий по косогору, фиг.5 иллюстрирует оценку действительной ориентации транспортного средства.

Осуществление изобретения

На фиг.1 показан трактор 1 с ведущими колесами 3 и управляемыми колесами 5. Спереди трактор 1 снабжен стереокамерой 7 с двумя объективами 9а и 9b. Трактор имеет также точку 11 сцепки для присоединения оборудования. Следуя в направлении вперед, стереокамера 7 снимает изображения участков 13₁, 13₂,…13_n земли вокруг трактора 1 перед ним. В целях наглядности показано ограниченное число снимаемых участков. Трактор оснащен также компьютером 15 для обработки изображений, обеспечиваемых стереокамерой 7. Компьютер содержит запоминающее устройство.

Далее, трактор 1 оснащен навигационными датчиками, а именно: антенной GPS, GPS-датчиком 17, датчиком 19 инерционного измерительного блока и датчиком одометрии колес, содержащим кодировщик 21 ведущего колеса, и измерителем 23 угла рулевого управления. Компьютер 15 образует аппаратурное обеспечение навигационной системы 25 уровня техники (фиг.2), получая входные сигналы от этих навигационных датчиков, как показано на фиг.1 и 2. Навигационная система содержит фильтр Калмана.

Стереокамера 7 выдает на выходе изображения участков 13₁, 13₂,…13_n или полей зрения в читаемой компьютером форме, которые в общем случае называются кадрами Р. Кадр стереокамеры 7 содержит левый кадр и правый кадр, обеспечиваемые соответственно левым объективом 9а и правым объективом 9b.

На основе кадров в соответствии с изобретением выполняют визуальную одометрию следующим образом:

Начальный шаг:

Получают первый кадр, содержащий левый и правый кадры от стереокамеры 7.

Выявляют и подбирают в пары отличительные признаки в первом левом и правом кадре.

Проецируют подобранные в пары отличительные признаки в трехмерную систему координат, используя информацию, полученную из левого и правого кадра.

Записывают кадр и полученную информацию в качестве «ключевого кадра». В соответствии с фиг.2 после этого способ выполняют следующим образом:

Шаг 31: Получают от стереокамеры новый кадр, содержащий левый и правый кадры.

Шаг 33: Выявляют отличительные признаки в левом и правом кадре.

Шаг 35: Подбирают в пары найденные отличительные признаки в левом и правом кадре.

Шаг 37: Проецируют подобранные в пары отличительные признаки в трехмерное пространство.

Шаг 39: Подбирают в пары отличительные признаки нового кадра с отличительными признаками последнего записанного в память ключевого кадра.

Шаг 41: Оценивают перемещение, то есть изменение позиции трактора 1 (то есть стереокамеры 7) между новым кадром и последним ключевым кадром.

Шаг 43: Если изменение положения невелико: экспортируют в качестве показаний визуальной одометрии оцененное изменение позиции или оцененную текущую позицию в навигационную систему 25, отвергают новый кадр и возвращаются к шагу 31.

Если нет: записывают новый кадр в память в качестве нового ключевого кадра для формирования хронологической последовательности ключевых кадров.

Шаг 45: Выстраивают отличительные признаки нового ключевого кадра, подобранные в пары с отличительными признаками последнего записанного в память ключевого кадра, в каждом предыдущем ключевом кадре в хронологическую последовательность.

Шаг 47: Отбрасывают из хронологической последовательности ключевых кадров любой предыдущий ключевой кадр, в котором не найдено отличительных признаков, совпадающих с отличительными признаками нового ключевого кадра.

Шаг 49: Оценивают перемещение, то есть изменение позиции трактора 1 (то есть стереокамеры 7) между новым кадром и наиболее старым ключевым кадром в хронологической последовательности ключевых кадров.

Текущая позиция может быть установлена из позиции в наиболее старом ключевом кадре в хронологической последовательности ключевых кадров и установленного преобразования.

Экспортируют в качестве показаний визуальной одометрии оцененное изменение позиции или оцененную текущую позицию в навигационную систему 25.

Возвращаются к шагу 31.

В навигационной системе показания датчиков 17, 19, 21, 23 и показания визуальной одометрии от шага 43 или шага 49 обрабатываются для оценки положения.

Если вместо стереокамеры используется устройство создания трехмерных изображений, работающее на принципе времени пролета, альтернативный начальный шаг выполняют следующим образом:

Получают первый кадр от датчика трехмерного изображения. Выявляют отличительные признаки в первом кадре. Записывают кадр и полученную информацию в качестве ключевого кадра. Соответственно на шагах 31-37 альтернативным образом выполняют: Шаг 31: Получают новый кадр от датчика трехмерного изображения. Шаг 33: Выявляют отличительные признаки в новом кадре (и далее к шагу 39).

Выявление отличительных признаков на шаге 33 и на начальном шаге может осуществляться любым известным методом, например любым известным методом так называемого «выявления пятен» или любым известным методом так называемого «выявления углов». Эти методы обеспечивают реакцию на пиксель или малую группу пикселей, сосредоточенных вокруг пикселя. Тот пиксель, который имеет реакцию, но для которого в локальной близости найден другой пиксель с более выраженной реакцией, отвергается, поскольку слабые реакции способны создавать шум.

Подбор в пары отличительных признаков на шаге 35, шаге 39 и начальном шаге проводят на основе структурного анализа близости соответствующих признаков. Такой анализ выполняется с помощью так называемого «дескриптора признаков», при этом несколько таких дескрипторов известны в данной области, например дескриптор системы Zero-mean Normal Cross Correlation (нормальной взаимной корреляции «ноль-среднее значение»), дескриптор системы SURF (Speeded-Up Robust Features - ускоренные робастные признаки) и дескриптор SIFT (Scale-Invariant feature transform - масштабно-инвариантное преобразование признака).

При подборе в пару найденного в новом кадре отличительного признака с отличительным признаком в последнем записанном в памяти ключевом кадре поиск возможной пары ограничивается областью последнего записанного в памяти ключевого кадра, где ожидается нахождение соответствующей пары. Эта область ожидания определена на основе знания о движении транспортного средства за время между новым кадром и последним записанным в память ключевым кадром. Эту информацию получают от навигационной системы, основанной на входных сигналах других навигационных датчиков, как этой показано позицией 51 на фиг.2.

Проецирование в трехмерную систему координат подобранных в пару отличительных признаков левого и правого кадров на шаге 37 и на начальном шаге предпочтительно выполняется методом триангуляции.

Определение изменения позиции:

Изменение позиции стереокамеры 7, а следовательно, и трактора 1 в течение промежутка времени от одного (ключевого) кадра до другого (ключевого) кадра описывается матрицей М преобразования:

$$M=\left(\begin{array}{c}RT\\ 0001\end{array}\right)$$

где R - матрица 3×3 (3 ряда и 3 столбца), выражающая поворот вокруг трех пространственных осей, а

Т - матрица 3×1, определяющая поступательное движение в трех пространственных направлениях.

Таким образом, матрица М является матрицей 4×4.

Если Р_a обозначает ключевой кадр момента времени а и Р_b обозначает ключевой кадр более позднего момента времени b, то есть а<b, тогда

Р_b=М_ab*Р_a, где М_ab - матрица, выражающая преобразование от а до b.

В данном примере осуществления изобретения на соответствующем упомянутом выше шаге 41 матрица М определяется методом RANSAC (RANdom SAmple Consensus - метод анализа случайной выборки):

Если f_as является отличительным признаком № s в Р_a, который был подобран в пару с f_bs, являющимся отличительным признаком № s в Р_b, и, соответственно, f_at является отличительным признаком № t в Р_a, который был подобран в пару с f_bt, являющимся отличительным признаком № t в Р_b, a f_au является отличительным признаком № u в Р_a, который был подобран в пару с f_bu, являющимся отличительным признаком № u в Р_b, и если f_s, f_t и f_u не коллинеарны, тогда

$$\begin{array}{c}{f}_{bs}=M_{ab}*f_{as}\\ f_{bt}=M_{ab}*f_{at},f=\left(\begin{array}{c}x\\ y\\ z\end{array}\right)\\ f_{bu}=M_{ab}*f_{au}\end{array},гдеx,y,z-пространственныекоординатыf$$

образует систему уравнений, из которых может быть вычислена М_ab.

Согласно методу RANSAC М_ab вычисляется как многократная оценка случайно выбранных трех подобранных пар отличительных признаков f_a и f_b. После такого вычисления М_ab она проверяется относительно других подобранных пар признаков в Р_a и Р_b. За счет этого достигается наилучшая оценка М_ab. Подобранные пары отличительных признаков, которые представляются неподходящими в свете наилучшей оценки М_ab, отбрасываются в качестве резко отличных значений или явных выбросов.

На упомянутом выше шаге 43, если установленная таким образом М_ab показывает, что соответствующее перемещение камеры/транспортного средства невелико, а процент учтенных признаков (то есть подобранных пар отличительных признаков, не отброшенных в качестве выбросов) оценивается как достаточно высокий, кадр Р_b отвергается, поскольку малые перемещения между кадрами вызывали бы увеличение погрешностей в последующих вычислениях.

На упомянутом выше шаге 49 для снижения погрешностей до минимума М определяется непрерывно для возможно более длительного промежутка времени. В данный момент n времени, для которого кадр Р_n не отвергается, отличительные признаки f_n, которые подбираются в пары с отличительными признаками f_n-1, прослеживаются назад как можно дальше для подбора в пары с соответствующими признаками f_n-2, f_n-3, …f_n-m в более ранних кадрах. Определяются оценки M_n-1n, М_n-2n, М_n-mn. В этом отношении, если а<b<с, то М_ас=М_abM_bc.

Оценка M_n-1n, М_n-2n, M_n-mn уточняется корректировкой методом расслоения, например, с использованием алгоритма Левенберга-Маркардта для получения наилучшей оценки M_n-mn.

Таким образом, М непрерывно обновляется с использованием максимально возможного объема информации из прошлого, а текущая позиция камеры/транспортного средства в момент n времени определяется или оценивается из позиции в наиболее старый момент n-m времени, информация от которого включена в определение текущей М (то есть М_n-mn).

Примеры использования

Согласно фиг.1 трактор следует вдоль ряда растений 27. Не показанное оборудование может быть прицеплено к точке 11 сцепки для обработки ряда растений 27. Благодаря визуальной одометрии, которая с высокой точностью дает положение и ориентацию стереокамеры 7, можно в соответствии с изобретением вычислить с соответствующей высокой точностью положение точки 11 сцепки, так что можно с высокой точностью установить оборудование по отношению к ряду растений 27. Визуальная одометрия обеспечит лучшую точность, чем инерционная одометрия с использованием инерционного измерительного блока, поскольку визуальная одометрия в целом работает лучше на относительно низкой скорости, на которой в сельском хозяйстве производятся полевые работы, и визуальная одометрия не подвержена гиропогрешностям, как инерционный измерительный блок.

При протягивании, например, почвообрабатывающего оборудования, такого как культиватор, плуг или борона, проскальзывание ведущих колес может указывать на то, что оборудование слишком заглублено в почву. За счет того, что визуальная одометрия обеспечивает быстрое обновление, раннее предупреждение о таком проскальзывании колес может обеспечиваться в случае, если кодировщик 21 ведущих колес показывает большую скорость по сравнению с визуальной одометрией.

В отношении фиг.3 и 4 визуальная одометрия может использоваться для решения проблем проскальзывания управляемых колес 5 или их шин. На фиг.3 и 4 показан трактор, соответственно, 1а и 1b, подвергающийся воздействию боковой силы соответственно 55а и 55b, вызывающей скольжение. На фиг.3 боковая сила 55а является центробежной силой из-за движения трактора по криволинейному участку 53, а на фиг.4 боковая сила 55b создается гравитацией, поскольку трактор 1b движется по косогору 54.

Проскальзывание шин является общей проблемой для автоматических систем рулевого управления. Оно зависит от многих факторов, и вызывающие его силы не могут быть измерены непосредственно. Исследования (уровня техники) показали, что приемлемым решением является определение параметров проскальзывания шины на основе действительной скорости движения (с возможным шумом от помех). В современных решениях делаются попытки выполнить это с использованием датчиков GPS и/или ИНС. Если углы проскальзывания могут быть определены, для них может быть предусмотрена компенсация в устройстве управления (это дает более высокую точность). Оценка изменения позиции, обеспечиваемая визуальной одометрией, отражает действительный курс 57 на земле по отношению к транспортному средству (трактору 1). В этом случае угол 59 проскальзывания представляет собой разность между действительным курсом 57 и текущим углом 61 поворота управляемых колес, который измеряется с помощью измерителя 23 угла рулевого управления.

В отношении фиг.5 визуальная одометрия используется вместе с системой GPS для определения действительной глобальной ориентации или курса транспортного средства (трактора) или действительной глобальной ориентации транспортного средства в земных координатах, то есть действительный угол 65 между направлением 67, в котором движется транспортное средство, и направлением 69 на Север. Как было упомянуто выше, визуальная одометрия обеспечивает указание действительного курса на земле (или направления движения) относительно трактора. Другими словами, визуальная одометрия обеспечивает указание угла 71 между направлением 73 курса на земле и направлением 67, в котором ориентировано транспортное средство. В результате проскальзывания шин, например, при движении трактора по косогору, как показано на фиг.4, направление 73 курса на земле может отклоняться от направления, в котором ориентирован трактор, даже если трактор движется по прямой линии. Глобальный курс, то есть угол 75 между направлением 73 курса на земле и направлением 69 на Север, определяется системой GPS.

Теперь действительный глобальный курс или действительный угол 65 относительно глобального направления на Север, как это показано на фиг.5, может быть вычислен как разность угла 75 и угла 71.

Следует понимать, что хотя изобретение описано на примерах осуществления, эти примеры не являются ограничительными для объема защиты, определенного пунктами формулы изобретения.

Группа изобретений относится к сельскохозяйственным транспортным средствам. Способ навигации сельскохозяйственного транспортного средства, оснащенного устройством создания трехмерных изображений и устройством обработки изображений содержит этапы, на которых от устройства создания изображений получают кадры участка окружения транспортного средства в различные моменты времени, обеспечивая хронологическую последовательность кадров. Далее по результатам анализа двух различных кадров устанавливают изменение позиции транспортного средства. Посредством сравнения изменения позиции транспортного средства и угла поворота управляемых колес определяют угол проскальзывания управляемых колес. Сельскохозяйственное транспортное средство содержит устройство создания трехмерных изображений, компьютерную систему с устройством обработки изображений, датчик системы GPS, инерционный измерительный блок, измеритель угла рулевого управления и индикатор числа оборотов колес. Также имеется компьютерно-читаемая среда с набором инструкций для реализации способа навигации. Решение направлено на повышение точности навигации. 2 н. и 14 з.п. ф-лы, 5 ил.

1. Способ навигации сельскохозяйственного транспортного средства (1), оснащенного устройством (7) создания трехмерных изображений для изображения окружения (13) транспортного средства и устройством (15) обработки изображений, содержащий следующие этапы:
от устройства (7) создания трехмерных изображений получают кадры, изображающие, по меньшей мере, участок (13₁, 13₂,…13_n) окружения транспортного средства в различные моменты времени при движении транспортного средства, таким образом обеспечивая хронологическую последовательность кадров,
анализируют кадры и
устанавливают изменение позиции транспортного средства, используя результаты анализа, по меньшей мере, двух хронологически различных кадров,
причем транспортное средство содержит измеритель угла рулевого управления, измеряющий угол поворота управляемых колес сельскохозяйственного транспортного средства, при этом посредством сравнения изменения позиции транспортного средства и угла поворота управляемых колес определяют угол проскальзывания управляемых колес.

2. Способ по п.1, отличающийся тем, что транспортное средство (1) оснащено, по меньшей мере, одним дополнительным навигационным датчиком (17, 19, 21, 23), причем сигнал от этого, по меньшей мере, одного навигационного датчика используют при установлении изменения позиции.

3. Способ по п.2, отличающийся тем, что этот, по меньшей мере, один навигационный датчик (17, 19, 21, 23) выбирают из группы, содержащей: датчик (17) системы GPS, инерционный измерительный блок (19), измеритель (23) угла рулевого управления, указывающий угол поворота управляемых колес сельскохозяйственного транспортного средства (1), и индикатор (21) числа оборотов колес.

4. Способ по любому из пп.1-3, отличающийся тем, что анализ кадров содержит установление отличительных признаков в кадрах, установление трехмерной информации об отличительных признаках, найденных в кадрах, подбор в пары отличительных признаков, найденных в одном кадре, с отличительными признаками, найденными во втором, более раннем кадре, и установление изменения позиции между этим одним кадром и вторым кадром на основе относительных положений подобранных в пары отличительных признаков в двух кадрах.

5. Способ по п.4, отличающийся тем, что изменение позиции сравнивают с предварительно определенным изменением позиции и этот первый кадр отвергают, если изменение позиции меньше указанного предварительно определенного изменения позиции.

6. Способ по п.4, отличающийся тем, что подбор в пару отличительного признака, найденного во втором кадре, с отличительным признаком, найденным в указанном одном кадре, содержит установление области поиска во втором кадре, в пределах которой предполагается нахождение отличительного признака на основе знания о текущем движении транспортного средства, причем предпочтительно это знание о текущем движении транспортного средства устанавливают на основе информации от, по меньшей мере, одного дополнительного навигационного датчика.

7. Способ по п.4, отличающийся тем, что информацию об отличительных признаках в неотвергнутом кадре записывают в памяти, отличительные признаки, найденные в одном кадре и подобранные в пары с отличительными признаками во втором кадре, прослеживают назад в хронологической последовательности кадров, а изменения позиции между различными, в особенности хронологически соседними кадрами, в которых прослежены такие отличительные признаки, учитывают для установления изменения позиции на протяжении хронологической последовательности.

8. Способ по п.5 или 6, отличающийся тем, что информацию об отличительных признаках в неотвергнутом кадре записывают в памяти, отличительные признаки, найденные в одном кадре и подобранные в пары с отличительными признаками во втором кадре, прослеживают назад в хронологической последовательности кадров, а изменения позиции между различными, в особенности хронологически соседними кадрами, в которых прослежены такие отличительные признаки, учитывают для установления изменения позиции на протяжении хронологической последовательности.

9. Способ по п.7, отличающийся тем, что отличительные признаки, найденные в одном кадре и подобранные в пары с отличительными признаками во втором кадре, прослеживают назад как можно дальше в хронологической последовательности кадров.

10. Способ по п.7 или 9, отличающийся тем, что кадры в хронологической последовательности, в которых отличительные признаки указанного одного кадра не прослежены, исключают из хронологической последовательности.

11. Способ по п.7 или 9, отличающийся тем, что оценку текущей позиции транспортного средства устанавливают на основе позиции транспортного средства на время наиболее старого кадра в хронологической последовательности, в котором прослежены отличительные признаки указанного одного кадра, и изменения позиции между этим наиболее старым кадром и указанным одним кадром.

12. Способ по п.8, отличающийся тем, что оценку текущей позиции транспортного средства устанавливают на основе позиции транспортного средства на время наиболее старого кадра в хронологической последовательности, в котором прослежены отличительные признаки указанного одного кадра, и изменения позиции между этим наиболее старым кадром и указанным одним кадром.

13. Способ по любому из пп.1-3, 5-7, 9, 12, отличающийся тем, что транспортное средство содержит датчик глобального направления, определяющий глобальное направление движения транспортного средства, при этом способ дополнительно содержит сравнение изменения позиции транспортного средства с глобальным направлением движения транспортного средства.

14. Способ по любому из пп.1-3, 5-7, 9, 12, отличающийся тем, что транспортное средство содержит индикатор числа оборотов, соединенный с ведущими колесами транспортного средства, при этом способ дополнительно содержит сравнение скорости транспортного средства, указываемой индикатором числа оборотов, с изменением позиции транспортного средства.

15. Способ по любому из пп.1-3, 5-7, 9, 12, отличающийся тем, что непрерывно устанавливают изменение позиции специфического участка на транспортном средстве.

16. Сельскохозяйственное транспортное средство (1), в особенности трактор или самоходное сельскохозяйственное орудие, такое как комбайн или машина для формирования тюков, содержащее устройство (7) создания трехмерных изображений, компьютерную систему (15), содержащую устройство обработки изображений, по меньшей мере, один навигационный датчик, предпочтительно выбранный из группы, содержащей: датчик (17) системы GPS, инерционный измерительный блок (19), измеритель (23) угла рулевого управления для измерения угла поворота управляемых колес сельскохозяйственного транспортного средства (1) и индикатор (21) числа оборотов колес, и компьютерно-читаемую среду, в которой записан набор инструкций, обеспечивающих при их запуске компьютерной системой выполнение этой компьютерной системой способа по любому из пп.1-15.