СПОСОБ ВЫЯВЛЕНИЯ СТРУКТУРЫ В ПОЛЕ, СПОСОБ РУЛЕВОГО УПРАВЛЕНИЯ СЕЛЬСКОХОЗЯЙСТВЕННЫМ ТРАНСПОРТНЫМ СРЕДСТВОМ И СЕЛЬСКОХОЗЯЙСТВЕННОЕ ТРАНСПОРТНОЕ СРЕДСТВО Российский патент 2015 года по МПК G06T7/40 A01B69/04 G06K9/46 G06N7/02 

Область техники, к которой относится изобретение

Изобретение относится к способу выявления в поле структуры, причем этом способ содержит этапы: получают изображение поля, анализируют изображение для получения текстурной информации, присваивают множеству областей изображения показатели вероятности, которые отражают вероятность того, что соответствующая область относится к характерной структуре. Далее, изобретение относится к способу рулевого управления сельскохозяйственным транспортным средством или оборудованием по отношению к структуре в поле и к сельскохозяйственному транспортному средству, содержащему систему рулевого управления, вырабатывающую сигналы рулевого управления, причем эта система рулевого управления содержит формирователь изображения для формирования изображений окружения транспортного средства и устройство обработки изображений.

Уровень техники

В области сельского хозяйства многие процессы выполняют в поле, причем оборудование перемещают на поле из конца в конец или по круговым траекториям, чтобы перекрыть все поле, например, при вспашке, сплошном или рядовом засеве, жатве и сборе сельскохозяйственных культур. Во многих процессах производится движение по маршруту, который пролегает по различным областям поля, имеющим различную структуру с различной визуальной текстурой. Различные структуры могут быть, например, вспаханной или не вспаханной почвой, засеянными или не засеянными областями, засеянными рядами и разрыхленными грядками, стоящими растениями и лежащими растениями или убранной территорией, перемежающимися полосами скошенных культур и убранной земли и т.д.

Желательно иметь возможность автоматизировать управление движением оборудования и транспортного средства с навесным или прицепным оборудованием, и множество способов было исследовано для определения маршрутов следования, как упомянуто выше. Такие способы охватывают способы с использованием лазерных сканеров, фотограмметрии и другие способы. Эти способы могут быть скомбинированы с другими способами для навигации сельскохозяйственного транспортного средства, такими как способы на основе GPS (Global Positioning System - глобальная система навигации и определения положения), одометрии и т.д.

Способы с использованием фотограмметрии включают способы с использованием стереофотограмметрии, например, для выявления трехмерной структуры на поле. Такая структура может быть грядой скошенной культуры, лежащей на поле для последующего подбора, например, пресс-подборщиком. Такой способ стереофотограмметрии известен, например, из патентного документа WO-A-2007/031093, который относится к способу управления пресс-подборщиком на основе технологии трехмерных изображений.

Альтернативно или дополнительно к стереофотограмметрии изображение поля может быть проанализировано для различения структур, например, по их (визуальной) текстуре. Под текстурой следует понимать локальные неоднородности вследствие разницы по цвету, строению, такие как стоящая или лежащая солома, длинная или короткая, почва, разрыхленная на более мелкие или более крупные комки и т.д.

Известны примеры способов с использованием анализа текстуры для различения структур на сельскохозяйственном поле. К таким примерам относятся следующие.

В патентном документе US 6336051 описан способ следования по линии между скошенной и не скошенной культурой на поле или между обработанной и необработанной поверхностью поля посредством анализа изображения поля путем сканирования пикселей на части изображения строчка за строчкой и присвоения соответствующим пикселям показателей посредством цветового или текстурного дискриминатора. Для каждой строчки вводится ступенчатая функция для определения положения линии культуры, при этом на выходе выдается двоичный сигнал. Установленную таким образом ступенчатую функцию сравнивают с заданной ступенчатой функцией, и если установленная ступенчатая функция находится за пределами, линию относят к категории «за концом гряды». В противном случае линию относят к категории «перед концом гряды». Посредством счета от верха изображения устанавливают положение конца гряды. Далее вводят комбинированную функцию плотности вероятности для обработанной и не обработанной поверхности и для областей 10×10 пикселей вычисляют вероятность того, что область принадлежит обработанной или не обработанной поверхности поля. Если вероятность лежит ниже пороговой величины, принимают, что область представляет собой препятствие.

В патентном документе US 7400957 описан способ выявления в поле структуры, упомянутой в начале. Более конкретно, описан способ выявления лежащей на поле гряды скошенной культуры путем анализа изображения, при этом каждому последовательному пикселю изображения присваивают показатель вероятности на основе окружающей текстуры. Пикселям присваивают показатели принадлежности к гряде или не к гряде в соответствии с пороговой величиной вероятности, таким образом создавая двоичную информацию о том, должны ли конкретные пиксели быть отнесены к гряде скошенной культуры или нет. Полученное при этом двоичное изображение обрабатывают для снижения шума и устанавливают положение и оси инерции гряды скошенной культуры в качестве базы для выработки сигнала рулевого управления для транспортного средства, несущего камеру, которая создает изображение.

Раскрытие изобретения

Задачей изобретения является создание усовершенствованного способа с использованием текстурной информации в изображении для выявления структуры в поле.

Дальнейшей задачей является создание способа рулевого управления сельскохозяйственным транспортным средством или навешенным на транспортное средство или прицепленным к нему оборудованием с использованием усовершенствованного способа, использующего текстурную информацию.

Дальнейшей задачей является создание сельскохозяйственного транспортного средства, содержащего систему рулевого управления, которая вырабатывает сигналы рулевого управления на основе усовершенствованного способа, использующего текстурную информацию.

В первом аспекте решение поставленной задачи в соответствии с изобретением достигается за счет способа выявления в поле структуры, который отличается тем, что принимают, по меньшей мере, одну геометрическую характеристику характерной структуры и устанавливают параметр наиболее вероятного положения данной характерной структуры с учетом показателей вероятности и принятой геометрической характеристики. Благодаря этому устраняется потеря информации вследствие преобразования в двоичную форму и обеспечивается установление параметра положения характерной структуры даже при слабом или плохом сигнале.

Предпочтительно изображение предоставляется в машиночитаемой форме, такой как файл данных, содержащий пиксели, а каждая область из множества областей изображения может быть группой пикселей или, предпочтительно, одним пикселем. Множество областей может представлять собой, например, все пиксели изображения или некоторое число разнесенных пикселей изображения.

При работе в поле обычно бывает очевидным, какой вид структуры подлежит выявлению и, соответственно, какой вид геометрической характеристики может быть выбран. Таким образом, по меньшей мере, одну геометрическую характеристику выбирают из группы, содержащей линию границы, центральную линию, ширину, положение и угловое отклонение. Так например, при вспашке поля будет присутствовать линия границы между свежевспаханной почвой и еще не вспаханной почвой, а при уборке поля будет присутствовать линия границы между убранной и еще не убранной поверхностью поля. При подборе гряд ранее скошенного материала и его прессовании в тюки эти гряды будут иметь центральную линию, ширину, а также положение или смещение относительно текущего маршрута транспортного средства, используемого для обработки поля, а продолжение центральной линии будет иметь отклонение или угол относительно текущего маршрута или направления движения транспортного средства.

Предпочтительно множеству областей присваивают показатели вероятности, отражающие вероятность того, что соответствующие площади относятся к структуре, отличной от характерной структуры. За счет этого достигается улучшенное выявление характерной структуры, поскольку оценивается вероятность того, что соответствующие области не относятся к характерной структуре. При этом показатели вероятности могут быть относительными показателями, то есть показателями, которые отражают вероятность того, что данная область относится к характерной структуре, по сравнению с вероятностью того, что данная область относится к другой структуре, отличной от характерной структуры.

После установления параметра наиболее вероятного положения, например, положения или углового отклонения линии границы или центральной линии, способ предпочтительно содержит установление показателя вероятности, отражающего вероятность того, что данная характерная конструкция присутствует в изображении. Такой показатель вероятности может быть использован для оценки достоверности выявления, которая, в свою очередь, может использоваться для выбора стратегии рулевого управления в случае наличия других навигационных датчиков.

Перед этапом анализа изображения для получения текстурной информации предпочтительно проводят этап обучения или тренировочный этап для получения информации о текстуре структуры в поле и информации о текстуре поля возле этой структуры. Этот этап обучения может быть выполнен один раз для вида подлежащего обработке поля и вида ожидаемой структуры, однако предпочтительно его проводят время от времени в ходе обработки данного поля.

Этап обучения может выполняться путем получения изображения поля, определения областей изображения, показывающих структуру, и областей изображения, показывающих поле за пределами структуры, и анализа соответствующих областей изображения для получения текстурной информации, относящейся, соответственно, к структуре и к полю возле структуры.

Предпочтительно верхнюю часть и нижнюю часть изображения анализируют индивидуально для получения текстурной информации. Это обусловлено тем, что обычно часть поля, показанная в верхней части изображения, находится дальше от формирователя изображения, чем часть поля в его нижней части. Эта разница расстояния вызывает разницу в визуальной текстуре из-за перспективы изображения, хотя в верхней и нижней частях изображения показана сходная структура. Таким образом, предпочтительно изображение разделяют на две части, то есть на верхнюю и нижнюю части. Однако альтернативно изображение может быть разделено на три, четыре или даже большее число частей поля в различных диапазонах дальности.

Согласно второму аспекту изобретения способ рулевого управления сельскохозяйственным транспортным средством или оборудованием по отношению к структуре в поле, отличается тем, что выявляют структуру посредством способа, содержащего этапы: получают изображение поля, анализируют изображение для получения текстурной информации, присваивают множеству областей изображения показатели вероятности, которые отражают вероятность того, что соответствующая область относится к характерной структуре, принимают, по меньшей мере, одну геометрическую характеристику характерной структуры и устанавливают параметр наиболее вероятного положения данной характерной структуры с учетом показателей вероятности и принятой геометрической характеристики и обеспечивают сигнал рулевого управления в соответствии с установленным таким образом параметром положения. При этом соответствующим образом получают преимущества, упомянутые выше в связи с первым аспектом изобретения.

Согласно третьему аспекту изобретения создано сельскохозяйственное транспортное средство, содержащее систему рулевого управления, вырабатывающую сигналы рулевого управления, причем эта система рулевого управления содержит формирователь изображения для формирования изображений окружения транспортного средства и устройство обработки изображений, при этом система рулевого управления работает таким образом, чтобы обеспечивать получение изображения поля с помощью формирователя изображения, анализировать изображение для получения текстурной информации, присваивать множеству областей изображения показателей вероятности, которые отражают вероятность того, что соответствующая область относится к характерной структуре, принимать, по меньшей мере, одну геометрическую характеристику характерной структуры и устанавливать параметр наиболее вероятного положения данной характерной структуры с учетом показателей вероятности и принятой геометрической характеристики и обеспечивать сигнал рулевого управления в соответствии с установленным таким образом параметром положения. При этом соответствующим образом получают преимущества, упомянутые выше в связи с первым аспектом изобретения.

Предпочтительно система рулевого управления содержит, по меньшей мере, один дополнительный навигационный датчик и предпочтительно система рулевого управления работает с учетом выходного сигнала этого дополнительного навигационного датчика при выработке сигнала рулевого управления. Предпочтительно этот, по меньшей мере, один дополнительный навигационный датчик выбран из группы, содержащей датчик GPS (глобальной системы навигации и определения положения), оптический датчик контура поля, инерционный измерительный блок и одометрический датчик. Оптический датчик контура поля может, например, содержать лазерное сканирующее устройство или устройство трехмерного изображения, такое как стереокамера. Одометрический датчик может, например, содержать колесные одометрические датчики или визуальный одометрический датчик, воспринимающие движение транспортного средства относительно окружения посредством анализа изображений, как это описано в патентной заявке EP 08158693.5.

В примере осуществления, в котором система рулевого управления выполнена с возможностью установления показателя вероятности, отражающего вероятность того, что характерная структура присутствует в изображении, после того, как установлен параметр наиболее вероятного положения этой структуры, например, положение и угловое отклонение линии границы или центральной линии, предпочтительно этот показатель вероятности используют в способе для оценки достоверности выявления, которая, в свою очередь, может использоваться для выбора стратегии рулевого управления в случае наличия других навигационных датчиков. Принцип такого выбора стратегии рулевого управления или алгоритма обработки сигнала датчика раскрыт, например, в патентном документе EP 2020168 A1.

Краткое описание чертежей

Далее со ссылками на прилагаемые чертежи будут подробно описаны примеры осуществления изобретения применительно к отслеживанию гряды скошенной культуры на поле. На чертежах:

фиг.1 изображает на виде сверху трактор и прицепленный к нему пресс-подборщик,

фиг.1a изображает в поперечном сечении гряду скошенной культуры, показанную на фиг.1,

фиг.1b показывает изображение, предоставляемое камерой трактора на фиг.1.

фиг.2 изображает на виде сверху трактор по фиг.1 в другой ситуации, фиг.2a показывает изображение, предоставляемое камерой трактора на фиг.2.

фиг.3 изображает на виде сбоку трактор по фиг.1, при этом пресс-подборщик не показан,

фиг.4 изображает пример выполнения системы управления трактора по фиг.1.и

фиг.5a и 5b изображают нормализованные усредненные гистограммы текстонов.

Осуществление изобретения

На фиг.1 и 2 показан пресс-подборщик 1, прицепленный к тяговому трактору

2. Пресс-подборщик 1 содержит колеса 3, подборщик 4, дышло 5 и прессовальную камеру, не показанную подробно. Трактор 2 содержит кабину 6 оператора, задние колеса 7, передние колеса 8, которые могут поворачиваться гидроцилиндром 9, и сцепное устройство 10 для крепления дышла 5 пресс-подборщика. Формирователь 11 изображения содержит, например, стереокамеру с сигнальным процессором для формирования трехмерных изображений и цветных изображений.

Формирователь 11 изображения записывает изображения гряды 12 скошенного сена/соломы/травы, то есть расположенной перед трактором гряды (или валка) скошенной культуры, которая должна быть подобрана пресс-подборщиком.

Трактор оснащен электрогидравлической системой управления с процессором 13, гидроцилиндром 9 и терминалом 14 с монитором для связи с пользователем. Трактор снабжен другим процессором 15 для управления и отслеживания других функций трактора, таких как функции безопасности, и датчиками, например, для измерения скорости, положения колес и местоположения на основе сигналов GPS (глобальной системы навигации и определения положения).

Пресс-подборщик 1 оснащен процессором 19 мониторинга его функций.

Все датчики, процессоры или блоки 3, 5, 19 электронного управления и формирователь 11 изображения непосредственно или опосредованно связаны через шину 20 CAN (Controller Area Network - асинхронная последовательная коммуникационная шина) для связи между блоками.

Для обеспечения возможности управления трактором 2 и пресс-подборщиком 1 с целью оптимального подбора гряды 12 скошенной культуры важно установить положение гряды 12 скошенной культуры. Это может быть обеспечено с помощью трехмерного формирователя изображения, такого как стереокамера, как это описано в патентном документе WO-A-2007/031093, упомянутом во вводной части описания. Для этого формирователь 11 изображения содержит стереокамеру и формирует изображения области 21 поля перед трактором 2. Из этого изображения для сечения 21' может быть определен профиль 23 поля и лежащей на нем гряды 12 скошенной культуры, как это показано на фиг.1a. По определенному профилю 23 для последующих сечений от ближайшего к трактору 2 до наиболее удаленного могут быть определены контуры 24 гряды 12 скошенной культуры, как это показано на фиг.1b. После определения контуров 24 могут быть вычислены параллельные усредненные контуры 25, а также средняя ширина d гряды 12 скошенной культуры и ее центральная линия I. Определение профиля 23 гряды 12 скошенной культуры наиболее надежно для изображения вблизи трактора 2. Таким образом, дальность перед трактором, в пределах которой может быть получено надежное указание положения гряды скошенной культуры, ограничена.

Для обеспечения дальнейшей информации о положении гряды 12 скошенной культуры и обеспечения возможности установления более надежной оценки в удаленной области согласно настоящему изобретению гряду скошенной культуры идентифицируют также с помощью анализа текстуры.

Для этого формирователь 11 изображения помимо стереоизображения предоставляет изображение с цветовой информацией, которую анализируют, как это будет подробно объяснено дальше.

Для того, чтобы иметь возможность идентифицировать гряду скошенной культуры для различения его от поля возле гряды скошенной культуры система управления должна иметь информацию о текстуре этих различных частей. В данном примере осуществления это достигается путем этапа обучения или тренировки, в ходе которого множество областей 26 (фиг.1b) или фрагментов изображения для части изображения (тренировочного изображения), изображающего гряду 12 скошенной культуры, анализируют для получения текстурной информации, а множество областей 27 или фрагментов изображения для части изображения, изображающего поле возле или сбоку от гряды скошенной культуры, анализируют для получения текстурной информации.

Благодаря эффекту перспективы одни и те же объекты показывают различную текстуру на виде на дальнем и на близком расстоянии. Поэтому верхнюю и нижнюю половины 28, 29 участка изображения предпочтительно обрабатывают раздельно в отношении анализа текстурной информации. В других примерах осуществления изображение может разделяться подобным же образом на большее число частей.

В качестве базы для этапа обучения может использоваться изображение, подобное показанному на фиг.1b, которое, по меньшей мере, для области вблизи трактора, то есть в нижней половине 29 изображения, дает надежный контур 24 гряды скошенной культуры. Для дальней от трактора области, то есть верхней части 28 изображения по фиг.1b, может быть записана текстурная информация соответствующих областей 30, когда они находятся в верхней части 28 изображения, а из последующего изображения может быть определено, какие из областей 30 принадлежат гряде 12 скошенной культуры, а какие из областей 30 принадлежат полю возле гряды скошенной культуры. Такое последующее изображение будет снято тогда, когда трактор 2 продвинется на расстояние 29' (фиг.3), соответствующее высоте нижней половины 29 изображения. Следует понимать, что техника отслеживания положений точек или областей от одного кадра до другого кадра, который частично перекрывает первый кадр, известна специалисту в данной области.

После получения таким образом текстурной информации, соответственно, о различных областях, принадлежащих структуре в поле, и о различных областях, не принадлежащих этой структуре, и на различных расстояниях, теперь можно получить картину, то есть обеспечить изображение гряды 12' скошенной культуры на поле по фиг.2а, проанализировать множество областей 31 изображения и обеспечить получение для соответствующих областей показателей вероятности того, изображают ли они гряду 12' скошенной культуры или поле возле гряды скошенной культуры.

Следует понимать, что хотя на фиг.2a показаны несколько отдельных областей 31 или фрагментов изображения, может быть проанализировано большое число таких областей 31, в том числе даже перекрывающихся областей. Так, может быть проанализирована и предпочтительно анализируется область вокруг каждого отдельного пикселя изображения.

Теперь, принимая, что гряда 12' скошенной культуры имеет ширину d, как это было определено в отношении анализа изображения по фиг.1b, устанавливают наиболее вероятное положение контуров 32 гряды 12' скошенной культуры, после чего могут быть установлены смещение О и угол или угловое отклонение Θ центральной линии 33 гряды 12' скошенной культуры относительно центральной линии 24 трактора 2.

Смещение О и угловое отклонение Θ могут использоваться для установления необходимости корректировки рулевого управления для трактора 2 или пресс-подборщика 1 и, соответственно, для обеспечения сигнала рулевого управления.

Поскольку были получены показатели вероятности для соответствующих областей изображения, из которых установлены смещение О и угловое отклонение Θ, теперь можно оценить достоверность сигнала, то есть полученных величин смещения О и углового отклонения Θ. Оценка может использоваться для решения того, насколько можно полагаться на сигнал, полученный текстурным анализом, например, в случае наличия сигналов от других навигационных датчиков, таких как сигналы от стереокамеры.

Более подробно описанный выше в общих чертах анализ может выполняться следующим образом.

В данном примере осуществления показанное на фиг.1b изображение является изображением, которое содержит пиксели, при этом каждый пиксель определяет три цветовых пространственных вектора (L_c, а_с, b_с), где L выражает интенсивность, в то время как a и b являются двумя различными цветами.

Для каждого пикселя определяют дескриптор pi:

$${р}_i=\left|\begin{array}{c}{W}_1*L_c\\ W_2*a_c\\ W_2*b_c\\ \begin{array}{l}{W}_3*(L_1-L_c)\\ \begin{array}{ccc}& & .\end{array}\\ \begin{array}{ccc}& & .\end{array}\\ W_3*(L_1-L_c)\end{array}\end{array}\right|$$

где (L₁-L_c), …, (L₈-L_c) являются разностями интенсивности между текущим пикселем и восемью окружающими пикселями в ближайшей области 3Х3. Векторные элементы взвешивают, используя W₁=0,5, W₂=1 и W₃=0,5. Алгоритм обучения методом К-средних применяют ко всем этим дескрипторам для извлечения двадцати трех центров кластеров, называемых текстонами. Затем каждый пиксель в изображении классифицируют как принадлежащий текстону путем нахождения ближайшего текстона в евклидовом пространстве. Количество центров кластеров, равное 23, выбрано произвольно в качестве компромисса между качеством и скоростью вычисления.

Как было упомянуто выше, верхнюю и нижнюю половины изображения по фиг.1b анализируют по отдельности. В качестве примера данное объяснение относится к нижней части изображения.

На этапе тренировки или обучения текстурную информацию получают следующим образом. Пиксели изображения в нижней части фиг.1b (тренировочного изображения) относят к двум группам, а именно к группам «гряда скошенной культуры» и «не гряда скошенной культуры». Соответственно, «грядой скошенной культуры» является группа, содержащая пиксели, которые согласно контурам 24, полученным посредством трехмерного изображения, изображают гряду 12 скошенной культуры, а «не грядой скошенной культуры» является группа, содержащая пиксели, которые согласно контурам 24, полученным посредством трехмерного изображения, изображают поле возле гряды 12 скошенной культуры за пределами контуров 24.

Для местоположения каждого пикселя строят нормированные средние гистограммы или средние гистограммы частоты обнаружения текстонов во фрагментах изображения размером 32×32 пикселя для «гряды скошенной культуры» и «не гряды скошенной культуры». Они представлены соответственно на фиг.5a и 5b. Гистограммы в двух случаях явно различны. Так например, текстон №2 часто встречается для случая «гряда скошенной культуры» и редко для случая «не гряда скошенной культуры».

В качестве упрощения ковариации гистограмм моделируют индивидуально в виде гауссовых для двух случаев.

Таким образом, эти гистограммы представляют собой текстурную информацию, полученную на этапе обучения или тренировки.

Для определения структуры, такой как гряда скошенной культуры в поле, могут выполняться следующие этапы:

Для данного изображения поля, подобного изображению по фиг.2а, следует оценить, изображают ли соответствующие области 31 или фрагменты изображения скошенный ряд / «гряду скошенной культуры» или поле возле скошенного ряда / «не гряду скошенной культуры».

Для проверки строят две гипотезы:

H₀:x[n]=s₀[n]+w₀[n] n=0, 1, …, N-1

H₁:x[n]=s₁[n]+w₁[n] n=0, 1, …, N-1

где:

Н₀ является гипотезой «гряды скошенной культуры», a H₁ - гипотезой «не гряды скошенной культуры»;

N - число текстонов или центров кластеров, равное 23 в данном примере осуществления;

х[n] - гистограмма текстонов соответствующей области 31;

s₀[n], s₁[n]- средние гистограммы текстонов для двух гипотез;

W₀[n], W₁[n] - белый гауссов шум, полученный из N(0, С₀) и N(0, C₁), то есть нормальное или Гауссово распределение вокруг среднего=0 с ковариациями, соответственно, С₀ и C₁.

Значения s₀[n], w₀[n], s₁[n], w₁[n] принимаются как известные и вычисленные из тренировочного изображения.

Две гипотезы проверяют относительно друг друга, используя критерий отношения правдоподобия (LRT).

Функции плотности вероятности применяют к Н₀ и H₁ как:

$$p(x;H_{{}_1})=\frac{1}{{(2\pi )}^{\frac{N}{2}}de{t}^{\frac{1}{2}}(C_1)}exp[-1/2{(x-s_1)}^T{C}_1^{-1}(x-s_1)]$$

$$p(x;H_{{}_0})=\frac{1}{{(2\pi )}^{\frac{N}{2}}de{t}^{\frac{1}{2}}(C_0)}exp[-1/2{(x-s_0)}^T{C}_0^{-1}(x-s_0)]$$

Следует отметить, что р(х; Н₀) является показателем вероятности, отражающим вероятность того, что соответствующая область или фрагмент изображения относится к гряде скошенной культуры, а р(х; H₁) является показателем вероятности, отражающим вероятность того, что соответствующая область или фрагмент изображения относится к полю возле гряды скошенной культуры.

Таким образом, критерий отношения правдоподобия становится:

$$\frac{p(x;H_1)}{p(x;H_{01})}=\frac{\frac{1}{{(2\pi )}^{\frac{N}{2}}de{t}^{\frac{1}{2}}(C_1)}exp[-1/2{(x-s_1)}^T{C}_1^{-1}(x-s_1)]}{\frac{1}{{(2\pi )}^{\frac{N}{2}}de{t}^{\frac{1}{2}}(C_0)}exp[-1/2{(x-s_0)}^T{C}_0^{-1}(x-s_0)]}>\gamma$$

Логарифмирование с двух сторон дает:

$$In\left[\frac{\frac{1}{{(2\pi )}^{\frac{N}{2}}de{t}^{\frac{1}{2}}(C_1)}exp[-1/2{(x-s_1)}^T{C}_1^{-1}(x-s_1)]}{\frac{1}{{(2\pi )}^{\frac{N}{2}}de{t}^{\frac{1}{2}}(C_0)}exp[-1/2{(x-s_0)}^T{C}_0^{-1}(x-s_0)]}\right]>In\gamma$$

Неравенство можно упростить с получением детектора критерия отношения правдоподобия (LRT):

$$T(x)=2x^T{C}_1^{-1}{s}_1-x^T{C}_1^{-1}x-2x^T{C}_0^{-1}{s}_0+x^T{C}_0^{-1}x>\gamma \text{'}$$

$$\gamma \text{'}=2ln\gamma -K$$

где постоянная K равна:

$$K=2ln\left[\sqrt{\frac{\det (C_0)}{\det (C_1)}}\right]-s_1^T{C}_1^{-1}{s}_1+s_0^T{C}_0^{-1}{s}_0$$

где γ' - определенная пользователем пороговая величина, которая может использоваться для отнесения к Н₀ или к H₁. Вместо преобразования изображения в двоичную форму с использованием результата проверки используют исходные значения:

$$$$ $$T\text{'}(x)=2x^T{C}_1^{-1}{s}_1-x^T{C}_1^{-1}x-2x^T{C}_0^{-1}{s}_0+x^T{C}_0^{-1}x$$

Таким образом, T'(х) отражает отношение между вероятностью отношения соответствующей области 31 к гряде скошенной культуры и вероятностью отношения соответствующей области 31 не к гряде скошенной культуры. Используя геометрическую информацию о возможных величинах ширины, положениях и угловых отклонениях ряда или гряды 12' скошенной культуры в изображении, можно найти оценку максимального правдоподобия (MLE) этих параметров гряды скошенной культуры в изображении. Для этой цели принимают, что ширина гряды 12' скошенной культуры постоянна и известна из тренировочного изображения (фиг.1b). Принимают, что положение и ориентация гряды имеют центральную линию 33 гряды в пределах изображения с угловым отклонением Θ величиной ±π/4 рад относительно проекции на предполагаемую плоскость земли направления камеры в месте установки камеры, то есть относительно центральной линии 34 трактора 2.

Вначале входное изображение (фиг.2а) классифицируют, используя критерий отношения правдоподобия (LRT) без применения пороговой величины. Затем может быть построен эталон для всех возможных величин параметров гряды скошенной культуры. В данном примере осуществления в качестве эталона используют контуры 32 ряда или гряды 12' скошенной культуры с расстоянием d между ними (шириной гряды скошенной культуры). Затем формулируют оценку максимального правдоподобия (MLE) как положение, имеющее наивысший средний критерий отношения правдоподобия (LRT) внутри эталона. Это можно сформулировать как:

$$J=\max \left[\frac{1}{n}{\displaystyle \sum {}_{i=1}^{n}T\text{'}(x_i)}\right]$$

{x₁, …, x_n}=M(k)

Исходя из условия, что {x₁, …, x_m} - это гистограммы текстонов 32×32, которые предположительно лежат на гряде скошенной культуры, заданные функцией М применительно к эталону k, далее мы ищем эталон, который делает максимальным средний суммарный критерий J отношения правдоподобия (LRT), тем самым устанавливая наиболее вероятное положение и угловое отклонение центральной линии 33 гряды скошенной культуры.

При условии нахождения подходящего эталона k_max, делающего максимальным критерий J, проводят проверку для идентификации того, находится ли гряда скошенной культуры в изображении. При этом подходом могло бы быть назначение величины J в качестве пороговой величины. Вместо этого изобретателями был разработан более свободный критерий, который имеет пороговую величину на отношении γ'' показателя среднего критерия отношения правдоподобия (LRT) {x₁, …, x_m} для k_max к среднему X\{x₁, …, x_m}, где Х - все классифицированные пиксели в изображении:

$$\frac{\frac{1}{n}{\displaystyle \sum {}_{i=1}^{n}T\text{'}(x_i)}}{\frac{1}{n}{\displaystyle \sum {}_{j=b}^{m}T\text{'}(x_{ib})}}>\gamma \text{'}\text{'}$$

{x₁, …, x_n}=M(k_max)

{x₁, …, x_m}=X\M(k_max)

Этот критерий обозначен как качественный критерий.

Качественный критерий может использоваться для оценки достоверности результата текстурного анализа, который часто называют сигналом датчика текстуры. При использовании большего числа навигационных датчиков достоверность датчиков используют для выбора стратегии использования выходных 5 сигналов датчиков.

Изобретение относится к системам рулевого управления сельскохозяйственным транспортным средством. Техническим результатом является повышение точности рулевого управления сельскохозяйственного транспортного средства за счет передачи сигнала о корректировке, учитывающей характерную структуру поля. Предложен способ рулевого управления сельскохозяйственным транспортным средством или оборудованием по отношению к структуре в поле. Способ включает в себя этап, на котором получают изображение поля формирователем изображения, анализируют изображение устройством обработки изображения для получения текстурной информации. Далее, согласно способу, присваивают множеству областей изображения показатели вероятности, которые отражают вероятность того, что соответствующая область относится к характерной структуре. 3 н. и 8 з.п. ф-лы, 9 ил.

1. Способ рулевого управления сельскохозяйственным транспортным средством или оборудованием по отношению к структуре в поле, отличающийся тем, что выявляют структуру посредством способа, в котором:
получают изображение поля формирователем изображения,
анализируют изображение устройством обработки изображения для получения текстурной информации,
присваивают множеству областей изображения показатели вероятности, которые отражают вероятность того, что соответствующая область относится к характерной структуре,
принимают, по меньшей мере, одну геометрическую характеристику характерной структуры, выбранную из группы, содержащей линию границы между свежевспаханной почвой и еще не вспаханной почвой или линию границы между убранной и еще не убранной поверхностью поля, центральную линию или ширину гряд ранее скошенного материала, положение или смещение относительно текущего маршрута сельскохозяйственного транспортного средства,
устанавливают параметр наиболее вероятного положения характерной структуры с учетом показателей вероятности и принятой геометрической характеристики, причем перед этапом анализа изображения для получения текстурной информации проводят этап обучения для получения информации о текстуре характерной структуры в поле и информации о текстуре поля возле характерной структуры, при этом по меньшей мере во время этапа обучения или тренировки изображение поля разделяют на верхнюю часть и нижнюю часть, которые анализируют раздельно, где верхняя часть изображения представляет область, находящуюся на отдалении от сельскохозяйственного транспортного средства в направлении движения, нижняя часть изображения представляет область вблизи сельскохозяйственного транспортного средства, записывают для верхней части изображения текстурную информацию областей поля, снимают последующее изображение после того, как сельскохозяйственное транспортное средство продвинется на расстояние, соответствующее высоте нижней части изображения, определяют области поля, принадлежащие характерной структуре, и области поля, находящиеся рядом с характерной структурой,
и вырабатывают сигнал рулевого управления в соответствии с установленным параметром положения.

2. Способ по п. 1, отличающийся тем, что множеству областей присваивают показатели вероятности, отражающие вероятность того, что соответствующие области относятся к структуре, отличной от характерной структуры.

3. Способ по п. 2, отличающийся тем, что показатели вероятности являются относительными показателями.

4. Способ по п. 1, отличающийся тем, что присваивают показатель вероятности, отражающий вероятность того, что характерная структура присутствует в изображении, и этот показатель вероятности учитывают при выработке сигнала рулевого управления.

5. Способ выявления в поле структуры при движении сельскохозяйственного транспортного средства, в котором:
получают изображение поля формирователем изображения,
анализируют изображение устройством обработки изображения для получения текстурной информации,
присваивают множеству областей изображения показатели вероятности, которые отражают вероятность того, что соответствующая область относится к характерной структуре, отличающийся тем, что:
принимают, по меньшей мере, одну геометрическую характеристику характерной структуры, выбранную из группы, содержащей линию границы между свежевспаханной почвой и еще не вспаханной почвой или линию границы между убранной и еще не убранной поверхностью поля, центральную линию или ширину гряд ранее скошенного материала, положение или смещение относительно текущего маршрута сельскохозяйственного транспортного средства,
устанавливают параметр наиболее вероятного положения характерной структуры с учетом показателей вероятности и принятой геометрической характеристики, причем перед этапом анализа изображения для получения текстурной информации проводят этап обучения для получения информации о текстуре характерной структуры в поле и информации о текстуре поля возле характерной структуры, при этом по меньшей мере во время этапа обучения или тренировки изображение поля разделяют на верхнюю часть и нижнюю часть, которые анализируют раздельно, где верхняя часть изображения представляет область, находящуюся на отдалении от сельскохозяйственного транспортного средства в направлении движения, нижняя часть изображения представляет область вблизи сельскохозяйственного транспортного средства, записывают для верхней части изображения текстурную информацию областей поля, снимают последующее изображение после того, как сельскохозяйственное транспортное средство продвинется на расстояние, соответствующее высоте нижней части изображения, определяют области поля, принадлежащие характерной структуре, и области поля, находящиеся рядом с характерной структурой.

6. Способ по п. 5, отличающийся тем, что множеству областей присваивают показатели вероятности, отражающие вероятность того, что соответствующие области относятся к структуре, отличной от характерной структуры.

7. Способ по п. 6, отличающийся тем, что показатели вероятности являются относительными показателями.

8. Способ по п. 5, отличающийся тем, что присваивают показатель вероятности, отражающий вероятность того, что характерная структура присутствует в изображении.

9. Сельскохозяйственное транспортное средство (2), содержащее систему рулевого управления, вырабатывающую сигналы рулевого управления, причем система рулевого управления содержит формирователь (11) изображения для формирования изображений окружения транспортного средства, и устройство (13) обработки изображений, и выполнена с возможностью получения изображения поля (21) с помощью формирователя (11) изображения, анализа изображения для получения текстурной информации, присвоения множеству областей изображения показателей вероятности, которые отражают вероятность того, что соответствующая область относится к характерной структуре (12), принятия, по меньшей мере, одной геометрической характеристики характерной структуры (12), выбранной из группы, содержащей линию границы между свежевспаханной почвой и еще не вспаханной почвой или линию границы между убранной и еще не убранной поверхностью поля, центральную линию или ширину гряд ранее скошенного материала, положение или смещение относительно текущего маршрута сельскохозяйственного транспортного средства, устанавливания параметра наиболее вероятного положения характерной структуры с учетом показателей вероятности и принятой геометрической характеристики, проведения обучения для получения информации о текстуре характерной структуры в поле и информации о текстуре поля возле характерной структуры, осуществляемом перед этапом анализа изображения, разделения, по меньшей мере во время указанного этапа обучения или тренировки, изображения поля на верхнюю часть и нижнюю часть для их раздельного анализа, где верхняя часть изображения представляет область, находящуюся на отдалении от сельскохозяйственного транспортного средства в направлении движения, нижняя часть изображения представляет область вблизи сельскохозяйственного транспортного средства, записывают для верхней части изображения текстурную информацию областей поля, снимают последующее изображение после того, как сельскохозяйственное транспортное средство продвинется на расстояние, соответствующее высоте нижней части изображения, определяют области поля, принадлежащие характерной структуре, и области поля, находящиеся рядом с характерной структурой, и выработки сигнала рулевого управления в соответствии с установленным параметром положения характерной структуры.

10. Сельскохозяйственное транспортное средство по п. 9, отличающееся тем, что система рулевого управления содержит, по меньшей мере, один дополнительный навигационный датчик и выполнена с возможностью учета выходного сигнала дополнительного навигационного датчика при выработке сигнала рулевого управления.

11. Сельскохозяйственное транспортное средство по п. 10, отличающееся тем, что, по меньшей мере, один дополнительный навигационный датчик выбран из группы, содержащей датчик GPS, оптический датчик контура поля, инерционный измерительный блок и одометрический датчик.