СПОСОБ И УСТРОЙСТВО ДЛЯ ОПТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ПОЛОЖЕНИЯ И/ИЛИ ОРИЕНТАЦИИ ОБЪЕКТА В ПРОСТРАНСТВЕ Российский патент 2016 года по МПК G06T7/00 G06T19/20 G06K9/36 A01J5/00 

Изобретение относится к способу и устройству для оптического определения положения и/или ориентации объекта в пространстве на основе изображений от по меньшей мере одной камеры.

Данные способы и устройства используются, в частности, при управлении роботом. В некоторых областях применения объекты, которые необходимо захватывать, обрабатывать или манипулировать другим образом при помощи робота, не фиксированы в отношении их положении и ориентации в пространстве или по меньшей мере имеют большую свободу относительно их положения и ориентации в заданных пределах. Для того чтобы иметь возможность автоматического целенаправленного манипулирования данными объектами, абсолютно необходимо обеспечить детектирование объекта, а также детектирование положения и, возможно, ориентации, которые в конечном счете опирается на определении поверхностных координат объекта. Это оказывается особенно трудным в случае, если форма и размер объекта не являются определенными, но со своей стороны могут подвергаться некоторым изменениям.

В частности, высокие требования к данному способу или устройству для определения поверхностных координат объекта в пространстве возникают, когда в качестве "объектов" подразумеваются живые существа. В случае доильных роботов для коров или других дойных животных, например, существует задача автоматической установки одного или нескольких доильных стаканов на соски дойного животного. В данном случае, точная фиксация положения животного оказывается такой же трудной задачей, как и точная фиксация положения и/или ориентации отдельных сосков. Кроме того, форма, размер и относительное расположение сосков друг с другом изменяются индивидуально от животного к животному.

Даже если животное идентифицируется на основе идентификационных признаков или устройств, детали формы размеров сосков также изменяются в соответствии со времени суток, состоянием здоровья и питания животного, и, наконец, в результате ростка или старения. Дополнительное требование возникает из-за того, что животные обычно не стоят спокойно на месте в течение процесса установки доильные стаканов, но вместо этого могут менять свое положение в доильном зале. Кроме того, имеют место перемещения, связанные с дыханием, приемом пищи, или жеванием, или пережевыванием жвачки. Таким образом, для того чтобы обеспечить возможность надежного расположения сосков и установки доильных стаканов, необходимо по возможности очень быстрое определение их поверхностных координат в пространстве, предпочтительно в режиме реального времени.

В документе US 2006/0196432 A1 раскрыто устройство для определения местоположения сосков дойных животных для доильного робота, в котором на основе изображений от одной или предпочтительно нескольких камер извлекается положение концевых областей сосков из указанных изображений с помощью процесса детектирования краев. В частности при использовании двух или более камер, положение концов сосков в пространстве может быть определено с помощью триангуляционных способов.

В документе WO 2010/023121 A2 для определения положения сосков дойного животного раскрыто использование проекционного аппарата для проецирования рисунка на область вымени и сосков животного, которое затем обрабатывается двумя камерами с использованием триангуляционных способов. Стереоскопическая обработка проекционного изображения подходит для обеспечения информации, относящейся к трехмерной поверхностной структуре объекта в режиме реального времени.

В случае доильных роботов также известно использование других способов, с помощью которых можно получить информацию, относящуюся к трехмерной структуре. Например, можно упомянуть об измерениях времени пролета ультразвуковых волн или луча света (TOF). Однако в этих способах для получения результатов с высокой степени точностью необходимо использовать очень сложное устройство.

Тем не менее, существует необходимость в способе и устройстве вышеупомянутого типа, с помощью которых можно быстро и точно определять положение и, возможно, ориентацию объекта в пространстве с высокой степенью точности во всех пространственных направлениях.

Эта задача решается с помощью способа и устройства с признаками независимых пунктов формулы изобретения.

В способе согласно изобретению оптическое определение положения и/или ориентации объекта в пространстве происходит на основе изображений от по меньшей мере одной камеры. Записывают по меньшей мере одно двумерное изображение объекта и извлекают из указанного изображения двумерную информацию о контуре. На основе информации о контуре определяют по меньшей мере одну область объекта. Генерируют трехмерную информацию из указанного по меньшей мере одного двумерного изображения или из по меньшей мере одного дополнительного двумерного изображения. Выбирают часть трехмерной информации, которая находится в пределах указанной определенной области объекта. Затем определяют положение и/или ориентацию объекта на основе выбранной части трехмерной информации.

Таким образом, способ выгодным образом комбинирует двумерную и трехмерную информацию, получаемую об объекте. Указанная информация о контуре может быть извлечена из двумерного изображения со сравнительно небольшим объемом вычислений и, соответственно, быстро и надежно. Она служит для обнаружения объекта. Благодаря ограничению обработки трехмерной информации обнаруженной областью объекта достигается разделение релевантной и нерелевантной в отношении объекта трехмерной информации. Таким образом, полученная трехмерная информация может эффективно обрабатываться для определения положения объекта, в частности в отношении расстояния от камеры, а также для определения ориентации.

В предпочтительных вариантах осуществления способа трехмерную информацию получают стереоскопически из двумерных изображений от по меньшей мере двух разнесенных камер и/или получают из двумерных изображений от по меньшей мере одной камеры при освещении объекта проектором для проекции рисунка. При этом предпочтительно используют рисунок из линий, решетки, точек или рисунок двумерного позиционного кода. В обоих вариантах осуществления возможна реализация способа при помощи надежных и недорогих оптических приборов.

В дополнительном предпочтительном варианте осуществления способа, из найденной информации о контуре извлекают линию контура, из которой формируют тело вращения с главной осью. Положение главной оси в пространстве изменяют так, чтобы измеренная трехмерная информация из выбранной области целиком находилась как можно ближе к боковой поверхности тела вращения, при этом положение главной оси определяет ориентацию объекта в пространстве. Предпочтительно определяют точку пересечения тела вращения с главной осью и выводят ее в качестве положения концевой области объекта в пространстве. В предположении, что объект может быть описан в хорошем приближении в модели как вращательно-симметричное тело, осуществляется обработка трехмерной информации, которая с высокой степенью точности приводит к определению положения и ориентации.

Устройство согласно изобретению для оптического определения положения и ориентации объекта в пространстве имеет по меньшей мере одну камеру и отличается тем, что устройство предназначено для осуществления вышеуказанного способа. При этом получаются описанные в связи со способом преимущества.

В предпочтительных вариантах осуществления устройство имеет по меньшей мере две разнесенные камеры и/или по меньшей мере один проектор для проекции рисунка из линий, решетки, точек или рисунка двумерного позиционного кода.

Согласно еще одному аспекту настоящего изобретения, указанный выше способ используют для определения пространственного положения и ориентации соска дойного животного. При этом имеют преимущество высокая степень точности способа и высокая скорость осуществления, а также возможность осуществления способа при помощи надежных оптических компонентов, например, камер и, возможно, проекторов. Соответственно, согласно дополнительному аспекту изобретения доильный робот содержит вышеупомянутое устройство.

Другие предпочтительные варианты осуществления и модификации указаны в соответствующих зависимых пунктах формулы изобретения.

Изобретение объяснено более подробно ниже на основе примерных вариантов осуществления с помощью чертежей, на которых:

на фиг. 1 показан схематический вид детали доильного робота при установке доильных стаканов на соски дойного животного;

на фиг. 2 показан схематический вид части доильного робота с устройством согласно изобретению;

на фиг. 3 показан схематический вид информации о контуре, полученной в процессе осуществления способа согласно изобретению;

на фиг. 4 показан дополнительный схематический вид информации о контуре;

на фиг. 5 показан вид трехмерной информации, которая была обработана в процессе осуществления способа согласно изобретению, и

на фиг. 6 показан дополнительный вид трехмерной информации, которая была обработана в процессе осуществления способа согласно изобретению.

Способ согласно изобретению описан ниже на основе устройства для определения положения и ориентации сосков дойного животного. Подразумевается, что описанный способ и устройство для определения поверхностных координат объекта в пространстве также может использоваться в связи с задачами из других областей, в которых применяется робототехника. В абстрактной формулировке в случае доильного робота задача заключается в выравнивании рабочего органа поступательно и/или путем поворота по отношению к объекту, положение которого в пространстве требует определения. Эта задача встречается во многих областях применения робототехники.

Фиг. 1 иллюстрирует эту задачу посредством изображения в аксонометрии детали выбранного примерного варианта осуществления доильного робота. Показано вымя 1 дойного животного, например коровы, с четырьмя сосками 2. Доильные стаканы 17 поднимаются к вымени 1 с помощью руки робота, которая здесь не показана, и затем устанавливаются один за другим на соски 2. Для этой цели требуется определить положение концевых областей сосков 2, при этом необходимо контролировать и корректировать перемещение доильных стаканов 17 вдоль траектории 18 перемещения таким образом, чтобы доильные стаканы 17 приближались со своими отверстиями к концевым областям сосков 2 снизу, без прохождения мимо сосков 2 или отталкивания их в сторону. При этом к отверстиям доильных стаканов 17 может быть приложено отрицательное давление так, чтобы, когда доильные стаканы 17 надлежащим образом приближаются к концевым областям сосков 2, последние всасывались в отверстие. Благодаря гибкости сосков 2 нет необходимости в ориентации доильных стаканов 17 в пространстве и в адаптации к ориентации сосков 2 в пространстве. Тем не менее, эти действия по возможности могут быть выполнены. Однако если соски наклонены под углом, то вероятность прикрепления уменьшается, при этом также существует риск того, что животное может получить травму. Поэтому оказывается предпочтительным, если доильный робот получает информацию, относящуюся к ориентации сосков 2, при этом позиционирование доильных стаканов 17 адаптируется соответствующим образом.

На фиг. 2 сходным образом в схематическом представлении показана часть доильного робота, которая имеет отношение к данному изобретению. Эта часть включает в себя доильный аппарат 10 и устройство 20 для определения положения сосков 2 и для активации доильного аппарата 10.

Доильный аппарат 10 имеет поддерживающий рычаг 12, который соединен с приводами 11 и на конце которого расположен доильный кластер 13. Приводы 11 обеспечивают возможность перемещения поддерживающего рычага 12 со степенями свободы в нескольких пространственных измерениях.

Доильный кластер 13, удерживаемый и позиционируемый поддерживающим рычагом 12, имеет коллектор 14 молока, соединенный соответственно с доильными стаканами 17 посредством трубок 15 для молока и дополнительных приводов 16. При помощи дополнительных приводов 16 доильные стаканы 17 могут, например, соответственно перемещаться из опущенного положения в поднятое положение. На фиг. 2 некоторые из доильных стаканов 17 находятся в опущенном положении, при этом некоторые из доильных стаканов 17 находятся в поднятом положении. В этом случае приводы 16 снабжены упругими элементами, которые обеспечивают возможность перемещения доильного стаканов 17 по отношению друг к другу даже в поднятом положении. Это достигается таким образом, что устанавливаемый доильный стакан, посредством перемещения поддерживающего рычага 12, может быть позиционирован и перенесен до концевой области соска 2 на пути перемещения 18, даже если уже был установлен один или более из других доильных стаканов 17.

Устройство 20 служит для управления приводами 11 и дополнительными приводами 16 доильного аппарата 10 с целью установки доильных стаканов 17 на соски 2. Для этого устройство 20 содержит устройство 21 управления и обработки изображений, которое называется ниже устройством 21 управления. Устройство 21 управления имеет один или более управляющих выходов 22, посредством которых оно соединяется с доильным аппаратом 10 для приведения в действие его приводов 11 и дополнительных приводов 16. Кроме того, устройство 21 управления имеет соединения 21 передачи данных, посредством которых оно соединяется с оптическими устройствами, которые используются в ходе детектирования положения.

В данном примерном варианте осуществления в качестве оптических устройств используются две камеры 24a, 24b, которые разнесены и выровнены с областью вымени 1. Кроме того, используется проектор 25 для проекции световых изображений. Следует отметить, что камеры 24a, 24b и проектор 25 представляют собой примеры оптических устройств, с которыми может осуществляться способ согласно данному изобретению. В альтернативных вариантах выполнения устройства могут использоваться альтернативные и/или дополнительные оптические устройства. В принципе, необходимое количество камер и проекторов может быть любым.Целесообразно использовать несколько камер или последовательно работающих проекторов, если существует риск затемнения, например, доильными стаканами. В частности, в этом отношении оказываются эффективными несколько проекторов, так как они могут быть изготовлены с низкими затратами.

Для осуществления способа в соответствии с изобретением устройство 21 управления имеет один или более программно-управляемых процессоров, в том числе, возможно, графических процессоров и/или процессоров цифровой обработки сигналов и/или матриц логических элементов с эксплуатационным программированием (FPGA). В этом случае части способа могут быть программно реализованы, при этом другие части, в частности критические по времени или требующие большого объема вычислений этапы способа могут быть также аппаратно-реализованы.

На основе описанных ниже чертежных материалов более подробно описываются, со ссылками на устройство на фиг. 2, различные иллюстративные варианты осуществления способа согласно изобретению для определения поверхностных координат объекта в пространстве. Таким образом, используемые ниже обозначения также относятся, в частности, к фиг. 2.

Фиг. 3 иллюстрирует первое примерное осуществление способа согласно изобретению. Предполагается, что первая из двух камер 24a или 24b обеспечивает изображение вымени 1, которое записывается в определенных заданных условиях освещения, например в условиях заднего света. Эти условия «заднего света» могут быть достигнуты, например, с помощью ограничивающей стенки доильного зала, которая расположена на противоположной стороне животного, как видно из положения камеры 24a, 24b, освещенной источником света. Однако возможны условия освещения, в которых освещение происходит со стороны камеры ("передний свет") или в которых используется рассеянный свет от нескольких сторон. Для простоты изложения первоначально предполагаются условия заднего света. Поправки, которые, возможно, необходимо осуществить при обработке, если имеет место другие условия освещения, объяснены в связи с фиг. 4.

Ниже изображение камеры от камеры 24a или 24b также называется двумерным изображением, поскольку предполагается, что это изображение камеры не содержит информации о расстоянии, но вместо этого представляет собой записанное изображение объекта, в данном случае вымени 1, на двумерной области проекции. Следует отметить, что изображения с информацией о расстоянии также могут быть основаны на двумерном изображении - информация о расстоянии не требуется для первоначально выполненной обработки двумерного изображения и, следовательно, на этом этапе может быть проигнорирована.

Информация о контуре получается из двумерного изображения. Информация о контуре, например, может быть извлечена из значения полутона и/или различий в цвете между соседними пикселями изображения. Для этой цели известны различные алгоритмы или функции фильтрации, которые могут использоваться в рамках данного изобретения. Примерами являются так называемое "Выделение границ Канни" или "Алгоритм Крускала".

Точки контура затем группируются и назначаются различным объектам, при этом группировка и назначение основываются на заданных основных геометриях и размерах соответствующих объектов, в данном случае сосков 2. Например, один критерий может заключаться в том, что в качестве релевантных объектов могут рассматриваться только такие объекты, которые, по существу, являются объектами с цилиндрической симметрией. Иными словами, далее не рассматриваются объекты, контуры которых не совпадают с контурами объекта с цилиндрической симметрией.

На фиг. 3 показано множество определенных точек 30 контура (круглые символы), которые назначены релевантному объекту. Определенные точки 30 контура соединены линией 32 контура. Показано положение найденных точек 30 контура и линии 32 контура в плоскости изображения двумерного изображения. Эта плоскость ниже также называется плоскостью x′y′, где x′ представляет собой горизонтальное пространственное направление, а y′ представляет собой вертикальное пространственное направление. Следует отметить, что координаты x′ и y′ относятся к проекции на плоскость изображения и не обозначают координат объекта в пространстве. Для отличия x′ и y′ называются координатами изображения. Их следует отличать от фактических координат объекта, которые ниже называются координатами x, y и z объекта.

Тем не менее, определенная линия 32 контура, полученная путем присоединения найденных точек 30 контура, не обязательно, а в действительности только в очень редких случаях, воспроизводит полный контур соответствующего объекта. Части объекта могут быть скрыты в двумерном изображении или могут не отделяться от элементов, расположенных глубже на заднем плане вследствие условий освещения. В данном конкретном примере применения рассматриваемые соски 2 часто оказываются скрытыми другими сосками 2 или другими частями вымени 1 или частью ноги или хвоста животного.

В показанном на фиг. 3 примере такое снижение заметности приводит к большому расстоянию между двумя определенными соседними точками 30 контура в правой нижней области чертежа. Точки контура, отсутствующие в этой области, изображены на чертеже в виде предполагаемых точек 31 контура. Недостающие точки контура осложняют назначение определенных точек 30 контура объекту. Для того чтобы, тем не менее, обеспечить возможность установления принадлежности к объекту, можно предусмотреть сравнение определенных точек 30 контура с моделью ожидаемого объекта, то есть в данном случае с моделью сосков 2. В целом достаточно одной модели. Однако в принципе можно также параллельно использовать несколько моделей.

Модель основана на большом количестве измеренных контуров объекта, которые сначала масштабируются к одинаковому размеру. Для масштабирования может использоваться измеренный характерный размер объекта, например, длина, или средний диаметр, или диаметр в середине (относительно длины) объекта. Большое количество масштабированных таким образом и наложенных контуров объектов используется для создания гистограммы, которая воспроизводит распределение частоты, с которой точка контура наблюдается в соответствующем положении в случае сходным образом масштабированного двумерного изображения объекта. Для облегчения использования гистограмма может быть преобразована в таблицу, в которой распределение частот указано точками контура в зависимости от нормализованного радиуса или диаметра объекта и нормализованной длины.

С помощью этой таблицы или эквивалентной аналитической функции, произведенной из нее, которая получена из параметризации значений таблицы, можно оценить, с какой вероятностью группа найденных точек 30 контура принадлежит одному и тому же объекту, который, как предполагается, имеет цилиндрическую симметрию. Если вероятность превышает заданную пороговую величину, то предполагается, что найденные точки 30 контура принадлежат объекту.

На следующем этапе группа найденных точек 30 контура, назначенных объекту, аппроксимируется кривой контура модели. Эта кривая контура модели показана на фиг. 3 в виде пунктирной линии как вычисленная линия 33 контура. В качестве примера применения обнаружения сосков 2 было найдено, что многочлен только с четными коэффициентами представляет подходящую линию контура модели. В примере на фиг. 3 правая линия 33 контура является таким многочленом шестого порядка. Также может использоваться многочлен другого порядка, возможно более высокого порядка. Порядок многочлена определяет минимальный радиус кривизны в описании контура. В некоторых случаях более высокие коэффициенты, которые оказываются ненужными, автоматически удаляются при адаптации, поскольку их вклад определяется как ноль или как настолько малая величина, что они на самом деле являются незначительными. Вычисленная линия 33 контура имеет вершину 34 и ось симметрии или главную ось 35.

В плоскости двумерного изображения, то есть в плоскости x′y′, выполненная обработка двумерного изображения приводит к очень точной определяемости экстремума 34 и главной оси 35 благодаря включенной проверки правильности принадлежности объекту найденных точек 30 контура и адаптации посредством линии контура модели. Задача последующих этапов способа заключается, в дополнение к полученной здесь информации, которая отражается в боковом положении главной оси 35 и вершины 34, также в определении информации о положении вершины 34 в направлении z, перпендикулярном к плоскости x′y′, и в определении наклона (отклонения) главной оси 35 по отношению к плоскости x′y′.

Помимо возможности создания двумерного изображения, устройство согласно изобретению также обеспечивает возможность создания изображений с информацией о расстоянии. Эта информация, которая ниже для краткости также называется трехмерной информацией, может быть получена в данном случае различными путями. Боковое разрешение, с которым создается данная трехмерная информация, может отличаться здесь от разрешения двумерного изображения.

В случае структуры на фиг. 2, используются две камеры 24a, 24b, установленные на расстоянии друг от друга, например, для создания трехмерной информации. С помощью изображений с обеих камер 24a, 24b трехмерная информация может быть получена посредством стереоскопических способов, например, посредством триангуляции. Кроме того, для данной цели используется проектор 25, который проектирует на объект структурированный оптический рисунок, например рисунок сетки, или рисунок из линий, или рисунок из точек, при этом трехмерную информацию получают из анализа стереоскопической записи проецируемого изображения.

Кроме того, могут использоваться рисунки, с помощью которых из изображения рисунка можно получить координаты отдельных структурных элементов (элементов рисунка). Эти рисунки могут быть представлены в виде позиционного кода или облаков иным образом помеченных точек (цвет, форма, яркость). Дополнительная информация используется для быстрого решения соответствующей проблемы, то есть для назначения элементов визуализации («измерительных пучков») фактическим поверхностям. Данные рисунки в рамках данного изобретения называются двумерными рисунками позиционного кода. С помощью двумерных рисунков позиционного кода трехмерная информация может быть получена посредством только одной камеры 24a или 24b. В случае двумерных рисунков позиционного кода достигаемое боковое разрешение является достаточно высоким для формирования изображения с освещением от проецированного двумерного рисунка позиционного кода в качестве двумерного изображения, которое принимается в качестве основы для нахождения контура.

В качестве альтернативы могут использоваться другие известные способы формирования изображения, которые могут обеспечить трехмерную информацию, например, TOF.

В соответствии с изобретением часть полученной трехмерной информации выбирается для нахождения поверхностных координат объекта в пространстве, и, таким образом, в конечном счете, положения и ориентации. В этом случае выбор части трехмерной информации основывается на двумерной информации о контуре, которая была ранее получена из двумерного изображения объекта. Исходя из вычисленной линии 33 контура для этой цели выбирается двумерная область 40. В последующих этапах обработки принимается во внимание только такая трехмерная информация, которая лежит в пределах выбранной области 40. На фиг. 3 вводятся трехмерные точки 41 измерения, которые лежат в пределах выбранной области 40 и являются доступными. Трехмерные точки 41 измерения отличаются тремя координатами: двумя боковыми координатами и одной координатой, которая содержит информацию о расстоянии. Трехмерные точки 41 измерения вводятся в их соответствующих боковых координатах; на чертеже не представлена информация о расстоянии. Обычно трехмерная информация отображается в виде сферических координат. Боковые координаты обычно представляют собой угловые координаты, а информация о расстоянии - информацию, относящуюся к измеренному расстоянию z′ от камеры к поверхности объекта. Угловые координаты соотносятся с координатами x′y′ двумерного изображения.

Дальнейшая обработка трехмерных точек 41 измерения объясняется более подробно ниже на основе фиг. 5 и 6. В примере, показанном на фиг. 3, выбранная область 40 не проходит до вычисленной линии 33 контура. Вместо этого, на основе вычисленной линии 33 контура определяется предел 42 области, которая находится на расстоянии от вычисленной линии 33 контура. Причина этого заключается в том, что для объекта предполагается конструкция с цилиндрической симметрией. Компоненты z поверхностных координат поверхности объекта существенно изменяются при приближении к вычисленной линии 33 контура. Поскольку соответствующий градиент Δz/Δx или Δz/Δy имеет полюс в области вычисленной линии 33 контура, есть большая вероятность того, что информация о расстоянии из этой зоны не имеет высокую степень точности и непригодна для дальнейшей обработки. Исключение периферийной части объекта в области вычисленной линии 33 контура предотвращает принятие во внимание этих предположительно неточных точек измерения при дальнейшей обработке.

Фиг. 4 иллюстрирует проблему, которая возникает при определении контура, если используются условия освещения, которые отличаются от условий заднего света. На фиг. 4 концевая область соска 2 показана в схематическом виде в аксонометрии. Изображена определенная линия 32b контура линия в условиях освещения с задней стороны. Предполагается, что закрытие или тому подобное не имеет место. Тогда определенная линия 32b контура, по существу, соответствует проекции фактической внешней периферии соска 2 на плоскость x′y′ двумерного изображения, из которой определяется линия 32b контура.

Если, с другой стороны, выбраны другие условия освещения, в данном случае в качестве примера условия переднего света, то получается определенная линия 32f контура, лежащая в области, ограниченной указанной определенной линией 32b контура. Причина этого заключается в том, что, в случае условий освещения в направлении, в котором расположена камера, только небольшое количество света отражается обратно в областях, в которых имеется очень плоское (скользящее) падение луча света. В соответствии с законом Ламберта, угловое распределение интенсивности света, который испускается двумерным элементом, пропорционально косинусу угла наблюдения. Закон Ламберта относится как к условиям освещения, так и к условиям наблюдения. Таким образом, имеет место зависимость от квадрата косинуса угла наблюдения. В случае определенной линии 32b контура, угол наблюдения в области периферии соска 2 стремится к 90° и поэтому косинус стремится к нулю. Тогда основанное на контрастах обнаружение края находит пороговое значение для края, когда существует небольшое скользящее падение света, для которого квадрат косинуса угла падения значительно больше нуля. Вследствие геометрии соска 2 с приблизительно цилиндрической симметрией такая ситуация имеет место более всего в направлении его центра.

Если для определения контуров выбраны условия освещения, отличные от условий освещения с задней стороны, то, тем не менее, в зависимости от размера рассматриваемого соска 2, для различных условий освещения может быть установлено соотношение между определенными линиями контура посредством предварительно выполненных эталонных измерений, которые выполнены в обоих условиях освещения. Из этого соотношения можно получить правило для поправки, которое обеспечивает возможность преобразования линии 32f контура, записанной, например, в условиях освещения с передней стороны, в исправленную линию контура, которая воспроизводит наиболее точно фактические размеры сосков 2.

На фиг. 5 показана дальнейшая обработка трехмерной информации. Трехмерные пункты 41 измерения сначала преобразуются из сферических координат в декартовые координаты x, y, z объекта. Затем формируется центр 43 тяжести (см. фиг. 3) трехмерных точек 41 измерения. В первом приближении предполагается, что главная ось 35 (см. фиг. 3) контура модели проходит через центр 43 тяжести. В этом предположении контур модели, то есть вычисленная линия 33 контура, также может быть преобразован из координат x′, y′ изображения в действительные координаты x, y и z объекта. Кроме того, (предварительное) положение вершины 34 может быть преобразовано в координаты объекта. Направление главной оси 35 задается ниже посредством двух углов α и β. Угол α описывает поворот главной оси 35 в плоскости x′y′ двумерного изображения. Этот угол α может быть уже определен из двумерного изображения. Здесь и ниже предполагается, что данный угол известен. Альтернативно, возможна поправка его значения на основе обработки трехмерной информации. Угол β описывает наклон главной оси 35 по отношению к плоскости x′y′ двумерного изображения и ниже называется углом β наклона.

В случае принятого выше предположения, что сосок 2 имеет приблизительно цилиндрическую симметрию, его контур поверхности может быть описан с помощью тела вращения контура модели, то есть вычисленной линией 33 контура. Затем положение тела вращения изменяется в пространстве в процессе оптимизации таким образом, чтобы трехмерные точки 41 измерения лежали наилучшим образом на боковой поверхности вычисленного тела вращения. Для этого, во-первых, трехмерные точки 41 измерения и модель преобразуются в одну и ту же систему (декартовых) координат. Затем параметры модели изменяются таким образом, чтобы модель описывала трехмерные точки 41 измерения с наилучшим качеством. В качестве критерия целесообразно рассматривать сумму квадратов расстояний трехмерных точек 41 измерения от поверхности модели. Целью расчета является поиск абсолютного минимума критерия. Для этой цели изменяются следующие параметры: перемещение вершины 34 на вектор Δx, Δy, Δz смещения и поворот главной оси 35 на углы α и β. Таким образом выполняется анализ многомерной функции критерия, чтобы найти абсолютный минимум.

Этот процесс называется "соответствие" с "параметрической моделью". При этом сама модель может изменяться, например может изменяться размер сосков и, возможно, также параметр формы, например диаметр, из-за набухания в начале процесса доения. По этой причине сама модель может быть немного адаптирована.

В частности, параметры, не определенные заранее или определенные только с недостаточной точностью, а именно угол β наклона и расстояние вершины 34 от камеры, в процессе согласования могут быть определены с высокой степенью точности.

На левой части чертежа на фиг. 5 показан результат процесса оптимизации. Для этой цели трехмерные точки 41 измерения спроецированы на вычисленную линию 33 контура, принятую, в качестве базиса для тела вращения. Процесс согласования означает, что параметры модели известны. По причине возможных артефактов в конце может быть выполнена проверка экстраполяции. Для этой цели трехмерные точки 41 измерения поворачиваются вокруг оси поворота сосков. При решении уравнения преобразования для z′=0, определяются траектории трехмерных точек 41 измерения в плоскости x′y′. Эти точки отображаются данным образом (проектируются) на также имеющийся двумерный контур. На практике остается ошибка, доступная для проверок на надежность. В это же время могут быть реализованы поправки, связанные с относящимися к способу ошибками измерения, например, из-за перемещенных контуров (например, в случае отсутствия освещения с задней стороны).

В данном примере было обнаружено, что положение трехмерных точек 41 измерения также хорошо описывается боковой поверхностью тела вращения. Статистическая обработка остальных расстояний или квадратов расстояний между трехмерными точками 41 измерения и поверхностью тела вращения позволяет сделать заключение о точности, с которой определяются положение и наклон тела вращения. Кроме того, при необходимости можно предусмотреть возможность изменения угла α в процессе оптимизации.

В результате, в конце процесса оптимизации фиксируются положение вершины 34 и направление главной оси (углы α, β). Кроме того, могут быть установлены поверхностные координаты тела вращения. Указанные определенные данные выводятся и используются для управления роботом. В показанном на фиг. 2 примере они используются для управления приводами 11 и дополнительными приводами 16 для того, чтобы направлять доильный стакан 17 с его отверстиями к вершине 34, и, следовательно, к концевой области соответствующего соска 2.

На фиг. 6 показана возможность упрощенного расчета угла β наклона для случая, в котором принятая в качестве основы трехмерная информация определяется посредством способа триангуляции с помощью проецированной линии решетки. На данном чертеже трехмерные точки 41 измерения представлены в проекции на плоскость x′y′ двумерного изображения. Кроме того, изображена определенная линия 32 контура. Трехмерные точки 41 измерения были сгенерированы с помощью проектора (см. проектор 25 на фиг. 2), который проектирует рисунок квадратной решетки. Соответственно, известно положение проекционных лучей по отношению друг к другу.

На фиг. 6 трехмерные точки 41 измерения, сгенерированные на основе горизонтальной линии в рисунке решетки проектора, соединены друг с другом. Таким образом, получается семейство кривых, которые могут быть описаны с помощью сегментов эллипса. В качестве примера, такой сегмент эллипса обозначается номером позиции 44. Эллипсы получаются в результате пересечения лучей проектора с телом вращения, которое описывает объект. При повороте с правильным углом β наклона, сегменты эллипса представляются в виде сегментов прямой линии. При заданной форме тела вращения основная задача оптимизации может быть сведена к системе дифференциальных уравнений, которые, при необходимости, могут быть решены аналитически. Таким образом, может быть выполнена точная и, в частности, быстрая обработка трехмерной информации.

Список обозначений

1 вымя

2 сосок

10 доильный аппарат

11 привод

12 поддерживающий рычаг

13 доильный кластер

14 коллектор молока

15 трубка для молока

16 дополнительный привод

17 доильный стакан

18 траектория перемещения

20 устройство

21 устройство управления и обработки изображения

22 выход управления

23 соединение передачи данных

24a, b камера

25 проектор

30 найденные точки контура

31 предполагаемые точки контура

32 найденная линия контура

32b найденная линия контура (задний свет)

32f найденная линия контура (передний свет)

33 вычисленная линия контура

34 экстремум

35 главные оси

40 выделенная область

41 трехмерная точка измерения

42 предел области

43 центр тяжести трехмерных точек измерения

44 сегмент эллипса

x′, y′ координаты изображения

z′ расстояние между камерой и точкой измерения

x, y, z координаты объекта

Изобретение относится к технологиям оптического определения положения и/или ориентации объекта в пространстве на основе изображений, полученных от камер. Техническим результатом является повышение точности определения положения, ориентации объекта в пространстве. Предложен способ оптического определения положения и/или ориентации объекта в пространстве на основе изображений от по меньшей мере одной камеры. Способ содержит этап, на котором записывают по меньшей мере одно двумерное изображение объекта и извлекают из указанного изображения двумерные координаты точек контура. Далее, согласно способу, рассчитывают линию контура модели, в зависимости от двумерных координат точек контура. А также определяют, на основе линии контура модели, по меньшей мере одну двумерную область объекта. 4 н. и 14 з.п. ф-лы, 6 ил.

1. Способ оптического определения положения и/или ориентации объекта в пространстве на основе изображений от по меньшей мере одной камеры (24а, 24b), включающий в себя этапы, на которых:
записывают по меньшей мере одно двумерное изображение объекта и извлекают из указанного изображения двумерную информацию о контуре;
рассчитывают линию (33) контура модели в зависимости от двумерной информации о контуре;
на основе линии (33) контура модели определяют по меньшей мере одну область (40) объекта;
генерируют трехмерную информацию из указанного по меньшей мере одного двумерного изображения или из по меньшей мере одного дополнительного двумерного изображения;
выбирают часть трехмерной информации, которая находится в пределах указанной определенной области (40) объекта и
определяют положение и/или ориентацию объекта на основе выбранной части трехмерной информации, при этом контур поверхности объекта описывают с помощью тела вращения линии (33) контура модели, причем положение и/или ориентацию тела вращения в пространстве изменяют так, чтобы измеренная трехмерная информация из выбранной области (40) целиком находилась как можно ближе к боковой поверхности тела вращения.

2. Способ по п. 1, в котором двумерную информацию о контуре извлекают из указанного по меньшей мере одного двумерного изображения в качестве линии (32, 32b, 32f) контура.

3. Способ по п. 2, в котором записывают указанное по меньшей мере одно двумерное изображение в условиях освещения с задней стороны.

4. Способ по п. 2, в котором записывают указанное по меньшей мере одно двумерное изображение в условиях освещения с передней стороны, при этом производят поправку полученной линии (32) контура.

5. Способ по п. 4, в котором поправка основывается на сравнении записанных ранее линий (32b, 32f) контура, которые были записаны в условиях освещения с задней стороны и в условиях освещения с передней стороны.

6. Способ по п. 2, в котором вычисляют указанную линию (33) контура модели в соответствии с определенной линией (32) контура.

7. Способ по п. 6, в котором вычисленная линия (33) контура описывается многочленом с четными коэффициентами.

8. Способ по п. 1, в котором трехмерную информацию получают стереоскопически из двумерных изображений от по меньшей мере двух разнесенных камер (24а, 24b).

9. Способ по п. 1, в котором трехмерную информацию получают из двумерных изображений от указанной по меньшей мере одной камеры (24а, 24b) при освещении объекта проектором (25) для проекции рисунка.

10. Способ по п. 9, в котором используют рисунок из линий, решетки, точек или рисунок двумерного позиционного кода.

11. Способ по п. 1, в котором трехмерную информацию получают на основе измерения времени пролета луча света.

12. Способ по п. 1, в котором тело вращения имеет главную ось (35), положение и ориентация которой в пространстве изменяется, при этом ориентация главной оси (35) определяет ориентацию объекта в пространстве.

13. Способ по п. 12, в котором определяют точку пересечения тела вращения с главной осью (35) и выводят ее в качестве положения концевой области объекта в пространстве.

14. Применение способа по любому из пп. 1-13 для определения пространственного положения соска (2) дойного животного.

15. Устройство оптического определения положения и ориентации объекта в пространстве при помощи по меньшей мере одной камеры (24а, 24b), отличающееся тем, что устройство предназначено для осуществления способа по любому из пп. 1-13.

16. Устройство по п. 15, имеющее по меньшей мере две разнесенные камеры (24а, 24b).

17. Устройство по п. 15 или 16, дополнительно имеющее по меньшей мере один проектор (25) для проекции рисунка из линий, решетки, точек или рисунка двумерного позиционного кода.

18. Доильный робот, имеющий устройство согласно любому из пп. 15-17.