СПОСОБ НАПРАВЛЕНИЯ РАЗГРУЗОЧНОГО УСТРОЙСТВА УБОРОЧНОЙ МАШИНЫ В КОНТЕЙНЕР Российский патент 2014 года по МПК A01D41/12 

Область техники, к которой относится изобретение

Настоящее изобретение относится к сельскохозяйственным уборочным машинам, таким как комбайн или кормоуборочные машины, снабженным разгрузочным устройством (таким как выгрузная труба) для заполнения собранных и обработанных убираемых материалов в контейнер, движущийся рядом с уборочной машиной. Изобретение относится к способам регулирования заполнения подобного контейнера на основании данных изображений контейнера.

Уровень техники

В данной области, в кормоуборочных машинах приведенного выше типа, известно управление положением выгрузной трубы и положением поворотного концевого участка (створки) выгрузной трубы на основании изображений камеры. В EP2020174 описана уборочная машина, снабженная электрооптическим устройством, выполненным с возможностью обнаружения характеристических параметров выгрузной трубы и/или контейнера и уборочной машины. Электрооптическим устройством может быть система камер, способная получать данные трехмерного изображения области заполнения контейнера, для получения из подобных данных характеристических параметров. Среди подобных параметров находятся пространственное положение и высота боковых стенок контейнера, а также высота заполнения сельскохозяйственной культуры, уже размещенной в контейнере. Способы обработки данных изображения включают распознавание структуры и характеристических линий на изображении. Однако подобные способы требуют довольно сложных алгоритмов распознавания изображений и им может недоставать корректности, точности и скорости.

Задача изобретения

Задача изобретения состоит в том, чтобы создать способ обработки данных изображений области заполнения, который обеспечивает возможность более эффективного и упрощенного управления процессом заполнения.

Раскрытие изобретения

Предложенное изобретение относится к способу и уборочной машине, которые раскрыты в приложенной формуле изобретения. Способ изобретения обеспечивает преимущество в том, что анализ изображения основан на ограниченном участке области, в частности на ряде полос, выбранных на изображении. Это обеспечивает возможность быстрого и эффективного анализа.

Согласно одному аспекту изобретения предложен способ направления подвижного разгрузочного устройства сельскохозяйственной уборочной машины в контейнер, движущийся рядом с уборочной машиной, содержащий, если смотреть от уборочной машины, ближний и дальний верхние края, при этом способ включает этапы:

использования камеры на уборочной машине для съемки изображений по меньшей мере части контейнера, при этом камера генерирует данные изображений, включающие в себя данные о расстоянии между камерой и частью контейнера;

обработки данных изображений для получения из них данных об относительном положении между частью контейнера и разгрузочным устройством; и

использования данных относительного положения для автоматического перемещения разгрузочного устройства относительно уборочной машины в заданное положение относительно контейнера,

характеризующийся тем, что

этап обработки данных изображений включает:

выбор из снятого изображения данных изображения, относящихся к вертикальной полосе на левой и/или правой стороне разгрузочного устройства;

для указанной или каждой вертикальной полосы фильтрование данных расстояния для каждого вертикального положения для получения единственного отфильтрованного значения расстояния для данного вертикального положения; и

для указанной или каждой полосы анализ последовательности отфильтрованных значений расстояния для получения из них вертикального положения ближнего и/или дальнего верхнего края контейнера; и

при этом заданное относительное положение представляет собой положение, в котором разгрузочное устройство направляет собранную сельскохозяйственную культуру в положение над ближним верхним краем и/или под дальним верхним краем, соответственно.

Анализ значений расстояния в каждой полосе может предоставлять данные об уровне сельскохозяйственной культуры в контейнере и доступном пространстве в контейнере для дальнейшего заполнения без нагромождения сельскохозяйственной культуры над краями. Положение краев, уровней и/или кромок может быть получено из данных расстояния, например из первой или второй производной последовательности расстояний.

Предпочтительно, обработка изображений может также включать анализ вертикальной полосы на изображении для получения из него наличия левого или правого угла контейнера или наличия левого или правого верхнего края. Эти данные могут быть использованы для ограничения или изменения на обратное движения разгрузочного устройства относительно контейнера.

Согласно дополнительному аспекту настоящего изобретения предложена уборочная машина, снабженная разгрузочным устройством для выгрузки материалов сельскохозяйственной культуры в контейнер, движущийся рядом с уборочной машиной, при этом 3D камера установлена в соединении с уборочной машиной, причем уборочная машина дополнительно содержит средства управления, выполненные с возможностью направления подвижного разгрузочного устройства согласно способу по первому аспекту изобретения. Уборочная машина может представлять собой кормоуборочный комбайн, снабженный выгрузной трубой, или уборочный комбайн, снабженный трубой для разгрузки зернового резервуара.

Краткое описание чертежей

Фиг.1 представляет собой схематичный вид заполняющей выгрузной трубы, снабженной 3D камерой, расположенной относительно заполняемого контейнера, в положении, подходящем для способа по изобретению.

Фиг.2 показывает пример изображения части контейнера, на основании которого может быть проведен анализ согласно изобретению.

Фиг.3 показывает примеры кривых расстояния, получаемых и анализируемых в способе по изобретению.

Фиг.4 показывает дополнительный пример изображения и кривых расстояния, подходящих для использования в способе по изобретению.

Подробное описание предпочтительных вариантов осуществления изобретения

Далее со ссылкой на чертежи будут описаны предпочтительные варианты осуществления. Подробное описание не ограничивает объем изобретения, который ограничен только приложенной формулой изобретения.

Фиг.1 представляет собой схематичный вид выгрузной трубы 1, основание которой установлено с возможностью вращения вокруг вертикальной оси и поворота вокруг горизонтальной оси на кормоуборочном комбайне (не показана) способом, известным в данной области. Держатель выгрузной трубы снабжен исполнительным механизмом, например гидравлическим двигателем 10, для изменения углового положения выгрузной трубы, и дополнительным исполнительным механизмом, например гидравлическим цилиндром (не показан), для изменения высоты конца выгрузной трубы. Кроме того, выгрузная труба имеет поворачиваемую створку 2 на своем конце, снабженную третьим исполнительным механизмом, например линейным электрическим исполнительным механизмом 11. Тремя исполнительными механизмами управляют с помощью системы 12 управления, выполненной с возможностью направления потока 3 обработанного материала сельскохозяйственной культуры в контейнер 4 под ручным управлением 13 или микропроцессором 14. Контейнер 4 имеет ближнюю боковую стенку 5, наиболее близкую к кормоуборочному комбайну и имеющую верхний край 6, и расположенную напротив дальнюю боковую стенку 7, имеющую верхний край 8. Материал сельскохозяйственной культуры поступает в контейнер 4 и образует в нем ворох 9. На выгрузной трубе 3D установлены камера 15 и предпочтительно источник 16 света, в положении, показанном под створкой 2. Камера выполнена с возможностью получения изображения 19 в виде массива элементов изображения и определения значений расстояния от камеры до объекта на изображении, для каждого элемента изображения на изображении. Данные расстояния могут быть определены на основании принципа времени прохождения. Поле камеры отображено граничными линиями 17 и 18.

Положение камеры относительно контейнера 4 такое, что в горизонтальном направлении камера смещена к одной стороне контейнера (т.е. горизонтальное положение А камеры не находится между поперечными горизонтальными положениями B и C боковых стенок 5 и 6 контейнера). В вертикальном направлении камера предпочтительно размещена выше, чем верхние края 6 и 7 боковых стенок 5 и 6 контейнера. В результате камера принимает изображения, в которых видимой является передняя поверхность по меньшей мере ближней боковой стенки 5 и возможно также дальней боковой стенки 7 (т.е. поверхность, обращенная к уборочной машине), а также ближний верхний край 6 и возможно дальний верхний край 7 этих боковых стенок, как показано в примере на фиг.2. Ближний верхний край 6 (ближней боковой стенки 5) отображен в нижней части изображения, а дальний верхний край 8 (дальней боковой стенки 7) отображен в верхней части изображения. Изображение на фиг.2 сделано в то время, когда выгрузная труба доставляет материал сельскохозяйственной культуры в контейнер. Данный выталкиваемый материал сельскохозяйственной культуры виден в качестве центральной области 20 на изображении.

Согласно способу изобретения изображение 19 на фиг.2 анализируется для того, чтобы определить по меньшей мере положение ближнего верхнего края 6, а если видно, также дальнего верхнего края 8, возможно также чтобы определить уровень сельскохозяйственной культуры убираемого материала сельскохозяйственной культуры, уже уложенного в контейнере, и/или положение переднего и заднего краев контейнера 4. Передний и задний края могут появляться в левой или правой части изображения в зависимости от стороны кормоуборочного комбайна, когда контейнер движется. Эти связанные с положением данные используются в алгоритме управления, выполненном с возможностью управления одним или более из следующих параметров: углом створки, угловым положением выгрузной трубы, высотой выгрузной трубы, положением контейнера, положением уборочной машины. Данные алгоритмы могут быть аналогичны известным алгоритмам, которые осуществляют использование данных относительного положения выгрузной трубы, контейнера и/или материала сельскохозяйственной культуры в контейнере в качестве полученных из изображений. Отличительной особенностью изобретения является способ, которым анализируется изображение. В частности, вместо анализа всего изображения выбирается только ограниченный ряд полос на изображении для того, чтобы из него получить требуемую информацию.

На изображении, которое показано на фиг.2, выбраны первая и вторая вертикальные полосы 21 и 22, причем указанные полосы соответственно расположены слева и справа от выгрузной трубы, т.е. слева и справа от центральной области 20 на изображении. Согласно предпочтительному варианту осуществления в данной центральной области 20 выбрана третья вертикальная полоса 23. Каждая из выбранных полос содержит группу рядов элементов изображения, при этом каждый ряд соответствует вертикальному положению на изображении, каждый элемент имеет соответствующее значение расстояния, полученное из данных, содержащихся на изображении (при условии, что изображение сделано 3D камерой по принципу времени прохождения). Согласно изобретению данные расстояния для каждого вертикального положения затем фильтруются для получения единственного отфильтрованного значения расстояния для данного вертикального положения. Согласно предпочтительному варианту осуществления отфильтрованное значение расстояния равно среднему значению расстояния для каждого вертикального положения в полосе. Также данные изображений могут включать данные о качестве каждого полученного значения расстояния, например, интенсивности света для каждого положения на изображении, а фильтрование может тогда включать этап исключения данных расстояния, которые имеют качество ниже заданного значения.

В результате получаются три кривых расстояния, которые показаны на фиг.3A-3C, соответствующие отфильтрованным расстояниям в полосах 21, 23 и 22 соответственно. Кривые, соответствующие левой и правой полосам 21 и 22, показывают четкие прыжки или скачки в значении расстояния в областях, где показаны ближний и дальний верхние края 6 и 8. Кривая, соответствующая центральной полосе 23, показывает прыжок только в положении ближнего верхнего края 6 при условии, что дальний верхний край скрыт позади извлеченных сельскохозяйственных культур в области 20. Согласно изобретению вертикальное положение по меньшей мере одного верхнего края 6 или 8 получается из положения одного или обоих прыжков, при этом положение выгрузной трубы 1 и створки 2 относительно уборочной машины регулируется для направления собранной сельскохозяйственной культуры в контейнер, т.е. в положение над ближним верхним краем 6 и/или под дальним верхним краем 8. В случае, когда используется прыжок только одного края, алгоритм управления может быть задействован для направления потока сельскохозяйственной культуры на заданном расстоянии от данного края внутрь контейнера. В случае обнаружения обоих краев алгоритм управления может быть задействован для направления сельскохозяйственной культуры между данными краями, например на одинаковом расстоянии.

Значения расстояния центральной полосы 23, и в частности значение расстояния на уровне краев контейнера, могут быть использованы для мониторинга положения потока сельскохозяйственной культуры и регулирования его относительно обнаруженного края или краев.

Согласно предпочтительному варианту осуществления первая и/или вторая производная кривых на фиг.3A-3C используются в качестве основы для определения вертикальных положений краев 6 и 8. Как видно на фиг.3D-3F, первые производные показывают острые пики в положении краев 6 и 8. Подобные пики можно обнаруживать более легко, чем прыжки на кривых расстояния на фиг.3A-3C. Аналогичным образом, вторые производные показывают аналогичные пики и могут, таким образом, также быть использованы в качестве основы для определения положения краев 6 и 8. Производные будут исключать информацию о среднем расстоянии и будут четко указывать положение и количество краев в пределах диапазона камеры. Когда первая и/или вторая производная является более высокой, чем заданное пороговое значение, можно считать, что край обнаружен.

Согласно дополнительному варианту осуществления в дополнение к определению положения одного или обоих верхних краев 6 и 8 способ включает этапы определения уровня сельскохозяйственной культуры, уже размещенной в контейнере. По мере повышения уровня сельскохозяйственной культуры изображение будет содержать между ближним и дальним верхними краями 6 и 8 область материала сельскохозяйственной культуры, имеющую линию пересечения с дальней боковой стенкой 7. В каждой полосе 21 и 22 точка пересечения между сельскохозяйственной культурой и дальней боковой стенкой ограничивает уровень сельскохозяйственной культуры в указанной полосе. Таким образом, анализируются отфильтрованные значения расстояния из одних и тех же полос 21 и 22, которые описаны выше, слева и справа от выгрузной трубы, и определяется вертикальное положение, соответствующее самому высокому отфильтрованному значению расстояния в области между ближним и дальним верхними краями 6 и 8. Тогда данное вертикальное положение представляет собой положение, соответствующее уровню сельскохозяйственной культуры. В качестве альтернативы, в качестве положения, соответствующего уровню сельскохозяйственной культуры, выбирается положение между ближним и дальним верхними краями, имеющее максимальное значение первой и/или второй производной. Кроме того, способ дополнительно включает этап сравнения установленного уровня сельскохозяйственной культуры по обеим сторонам выгрузной трубы с вертикальным положением ближнего боковой стенки 5. Когда один из уровней сельскохозяйственной культуры в левую или правую сторону от выгрузной трубы достигает заданного уровня относительно ближнего верхнего края 6, выгрузная труба 1 перемещается в область контейнера 4, которая еще не заполнена, или когда заданный уровень достигнут на обеих сторонах выгрузной трубы, заполнение останавливается.

Согласно дополнительному варианту осуществления на изображении выбирается горизонтальная полоса (30 или 31) как показано на фиг.4A, при этом указанная горизонтальная полоса расположена под (30) или над (31) ближним верхним краем 6 контейнера. Изображение на фиг.4А показывает ближний и дальний верхние края 6 и 8 контейнера, а также его правый угол 50 и правый верхний край 51. Таким же образом, как описано выше, отфильтровываются данные расстояния для каждого горизонтального положения в указанной полосе для того, чтобы получить единственное отфильтрованное значение расстояния для каждого горизонтального положения в полосе. Из этих отфильтрованных значений, получаются положения правого угла 50 и правого верхнего края 51 контейнера. На фиг.4B и 4C проиллюстрированы примеры профилей расстояния в горизонтальном направлении. Положение правого угла и правого верхнего края контейнера получаются посредством обнаружения прыжка в отфильтрованном расстоянии, как видно на фиг.4B и 4C. Первая и/или вторая производные кривых на фиг.4B и 4C также могут быть использованы для определения горизонтального положения правого угла и верхнего края. Когда выгрузная труба 1 и прикрепленная камера 15 направляются в противоположную, левую секцию контейнера 4, левый угол и левый верхний край станут видны на изображении, и для установки горизонтального положения этих краев может быть использован тот же способ, включающий измерение отфильтрованного расстояния. Алгоритм управления использует эти установленные положения для остановки или изменения на обратное движение выгрузной трубы, когда поток сельскохозяйственной культуры подходит близко к углу или левой или правой границе.

Группа изобретений относится к сельскохозяйственным уборочным машинам. Способ включает этапы использования камеры на уборочной машине для съемки изображений по меньшей мере части контейнера, обработки данных изображений и использования данных относительного положения для автоматического перемещения разгрузочного устройства относительно уборочной машины в заданное положение относительно контейнера. Этап обработки данных изображений включает выбор из снятого изображения данных изображения, относящихся к вертикальной полосе на левой и/или правой стороне разгрузочного устройства, фильтрование данных расстояния для каждого вертикального положения, анализ последовательности отфильтрованных значений расстояния для получения из них вертикального положения ближнего и/или дальнего верхнего края контейнера. Заданное относительное положение представляет собой положение, в котором разгрузочное устройство направляет собранную сельскохозяйственную культуру в положение над ближним верхним краем и/или под дальним верхним краем. Уборочная машина снабжена разгрузочным устройством для выгрузки материалов сельскохозяйственной культуры в контейнер. Контейнер движется рядом с уборочной машиной, при этом 3D камера установлена в соединении с уборочной машиной, содержащей средства управления. Обеспечивается возможность более эффективного и упрощенного управления процессом заполнения. 2 н. и 16 з.п. ф-лы, 11 ил.

1. Способ направления подвижного разгрузочного устройства (1) сельскохозяйственной уборочной машины в контейнер (4), движущийся рядом с уборочной машиной, содержащий, если смотреть от уборочной машины, ближний и дальний верхние края (6, 8), включающий этапы:
использования камеры (15) на уборочной машине для съемки изображений (19) по меньшей мере части контейнера, при этом камера генерирует данные изображений, включающие в себя данные о расстоянии между камерой и частью контейнера;
обработки данных изображений для получения из них данных об относительном положении между частью контейнера (4) и разгрузочным устройством (1); и
использования данных относительного положения для автоматического перемещения разгрузочного устройства (1) относительно уборочной машины в заданное положение относительно контейнера,
отличающийся тем, что
этап обработки данных изображений включает:
выбор из снятого изображения данных изображения, относящихся к вертикальной полосе (21/22) на левой и/или правой стороне разгрузочного устройства (1);
для указанной или каждой вертикальной полосы фильтрование данных расстояния для каждого вертикального положения для получения единственного отфильтрованного значения расстояния для данного вертикального положения; и
для указанной или каждой полосы анализ последовательности отфильтрованных значений расстояния для получения из них вертикального положения ближнего и/или дальнего верхнего края (6, 8) контейнера; и
при этом заданное относительное положение представляет собой положение, в котором разгрузочное устройство направляет собранную сельскохозяйственную культуру (3) в положение над ближним верхним краем (6) и/или под дальним верхним краем (8), соответственно.

2. Способ по п.1, отличающийся тем, что этап фильтрования данных расстояния включает:
для указанной или каждой вертикальной полосы (21, 22) вычисление среднего значения расстояния для каждого вертикального положения и присваивание среднего значения расстояния отфильтрованному значению расстояния.

3. Способ по п.1 или 2, отличающийся тем, что данные изображений включают в себя данные о качестве каждого полученного значения расстояния, а этап фильтрования данных расстояния включает:
исключение данных расстояния, которые имеют качество ниже заданного порогового значения.

4. Способ по п.3, отличающийся тем, что данные о качестве включают интенсивность света для каждого положения в полосе или полосах (21, 22).

5. Способ по п.1 или 2, отличающийся тем, что этап анализа последовательности отфильтрованных значений расстояния включает:
вычисление первой и/или второй производной последовательности отфильтрованных значений расстояния;
сравнение производной с пороговым значением; и
присваивание вертикального положения края (6, 8) контейнера вертикальному положению, когда производная превышает пороговое значение.

6. Способ по п.1 или 2, отличающийся тем, что этап обработки данных изображений дополнительно включает:
выбор из снятого изображения данных изображения, относящихся к дополнительной вертикальной полосе (23), которая выровнена с разгрузочным устройством (1);
для дополнительной вертикальной полосы (23) фильтрование данных расстояния для каждого вертикального положения для получения единственного отфильтрованного значения расстояния для данного вертикального положения; и
для дополнительной вертикальной полосы (23) анализ последовательности отфильтрованных значений расстояния для получения из них вертикального положения ближнего верхнего края (6) контейнера (4).

7. Способ по п.1 или 2, отличающийся тем, что этап обработки данных изображений включает:
для указанной или каждой вертикальной полосы (21, 22) на левой и/или правой стороне разгрузочного устройства (1) анализ последовательности отфильтрованных значений расстояния для получения из них уровня любой сельскохозяйственной культуры на левой и/или правой стороне разгрузочного устройства.

8. Способ по п.7, отличающийся тем, что этап анализа последовательности значений расстояния для получения уровня любой сельскохозяйственной культуры включает:
установку вертикального положения между вертикальными положениями ближнего и дальнего верхних краев (6, 8), которое имеет наибольшее отфильтрованное значение расстояния; и
присваивание уровня сельскохозяйственной культуры устанавливаемому вертикальному положению.

9. Способ по п.7, отличающийся тем, что этап анализа последовательности значений расстояния для получения уровня любой сельскохозяйственной культуры включает:
вычисление производной последовательности отфильтрованных значений расстояния между вертикальными положениями ближнего и дальнего верхних краев (6, 8);
присваивание уровня сельскохозяйственной культуры вертикальному положению, которое имеет наибольшую вычисленную производную.

10. Способ по п.7, отличающийся тем, что заданное положение разгрузочного устройства (1) относительно контейнера (4) устанавливается с использованием этапов:
для каждой из вертикальных полос (21, 22) влево и вправо от разгрузочного устройства, мониторинга полученного уровня любой сельскохозяйственной культуры в контейнере;
сравнения полученных уровней сельскохозяйственной культуры с вертикальным положением по меньшей мере одного из верхних краев (6, 8) контейнера;
сохранения имеющегося относительного положения до тех пор, пока полученные уровни сельскохозяйственной культуры не станут заданным значением под вертикальным положением по меньшей мере одного края; и
если один из вертикальных уровней сельскохозяйственной культуры меньше, чем заданное значение под вертикальным положением края, перемещение относительного положения разгрузочного устройства в сторону, имеющую большее расстояние между уровнем сельскохозяйственной культуры и вертикальным положением верхнего края.

11. Способ по п.1 или 2, отличающийся тем, что этап обработки данных изображений дополнительно включает:
выбор из снятого изображения данных изображения, относящихся к горизонтальной полосе (30) под ближним краем (6) контейнера;
фильтрование данных расстояния для каждого горизонтального положения для получения единственного отфильтрованного значения расстояния для данного горизонтального положения; и
получение из последовательности отфильтрованных значений расстояния относительного положения левого и правого угла (50) контейнера на снятом изображении.

12. Способ по п.11, отличающийся тем, что этап обработки данных изображений дополнительно включает:
выбор из снятого изображения данных изображения, относящихся к горизонтальной полосе (31) над ближним краем контейнера;
фильтрование данных расстояния для каждого горизонтального положения для получения единственного отфильтрованного значения расстояния для данного горизонтального положения; и
получение из последовательности отфильтрованных значений расстояния относительного положения левого и правого верхних краев (51) контейнера на снятом изображении.

13. Способ по п.11, отличающийся тем, что включает этапы:
сравнения полученного относительного положения угла (50) и/или края (51) контейнера (4) с горизонтальным положением разгрузочного устройства (1); и
при обнаружении разницы горизонтальных положений ниже заданного порогового значения, остановки или изменения на обратное движение разгрузочного устройства.

14. Способ по п.1 или 2, отличающийся тем, что камера представляет собой 3D камеру, имеющую массив элементов изображения и использующую принцип времени прохождения для определения расстояния до объекта для каждого элемента изображения.

15. Способ по п.1 или 2, отличающийся тем, что камера установлена на подвижном разгрузочном устройстве на высоте над верхними краями (6, 8) контейнера, так что она способна получать изображение контейнера, содержащее ближний верхний край (6), расположенный в нижней части изображения, и дальний верхний край (8), расположенный в верхней части изображения.

16. Уборочная машина, снабженная разгрузочным устройством (1) для выгрузки материалов (3) сельскохозяйственной культуры в контейнер (4), движущийся рядом с уборочной машиной, при этом 3D камера (15) установлена в соединении с уборочной машиной, причем уборочная машина дополнительно содержит средства управления, выполненные с возможностью направления подвижного разгрузочного устройства согласно способу по любому из пп.1-15.

17. Уборочная машина по п.16, отличающаяся тем, что она представляет собой кормоуборочный комбайн, а разгрузочное устройство содержит выгрузную трубу (1).

18. Уборочная машина по п.16, отличающаяся тем, что она представляет собой уборочный комбайн, а разгрузочное устройство содержит разгрузочную трубу для разгрузки зернового резервуара.