Способ и устройство для бесконтактного сканирования биологических объектов Российский патент 2022 года по МПК A01J5/17 

Устройство относится к сельскому хозяйству, в частности к вспомогательным устройствам доильных машин или устройств, средствам распознавания объектов и определения их координат в пространстве, определения сосков вымени молочной коровы для последующего наведения роботизированного манипулятора и одевания доильных стаканов, при доении коров на роботизированных доильных установках.

В патентном документе EP 2369911 B1, опубл. 06.01.2016, МПК A01J5/017 описано устройство прикрепления доильных стаканов, способ получения трехмерных координат положения сосков вымени. Для обнаружения сосков вымени коровы для последующего прикрепления доильных стаканов производится оценка позиционирования, где вычисляются трехмерные координаты нижней точки соска. После получения координат кончика сосков по осям Х, У (в мировой системе координат) производится горизонтальная оценка положения кончика сосков по оси z, угол наклона сосков. Дополнительно способ включает оценку длины сосков. Дополнительно способ включает оценку местоположения сосков для конкретной коровы в станке.

Недостаток известного способа заключается в неэффективном способе обнаружения сосков вымени. При сканировании сосков коровы с одного положения в непосредственной близости оптического устройства от вымени, есть вероятность, что задние соски будут отсканированы некорректно или не замечены. Результатом данного устройства на практике являются ошибки при сканировании, что заставляет затрачивать большее время на одевание доильных стаканов, что в свою очередь увеличивает время доения одной коровы, где от увеличения времени доения получаем меньшее количество молока и снижаем пропускную способность одной роботизированной установки.

В патентном документе US 10499607 B2, опубл. 10.12.2019, МПК A01J5/007, A01J5/017 описано изобретение, которое содержит систему технического зрения и роботизированный манипулятор, производящий автоматическое сканирование сосков вымени коровы и автоматическое одевание доильных стаканов. Расположение роботизированного манипулятора с системой технического зрения производится со стороны хвоста коровы. Сканирование сосков вымени и одевание доильных стаканов производится со стороны хвоста коровы. Система технического зрения с заданного положения определяет местоположение одного соска, затем другого соска, устанавливает их числовые значения расстояния, сравнивает числовые значения, полученные ранее, с фактическим измерением и производит перемещение манипулятора в заданную точку и последующее одевание доильных стаканов.

Недостатком известного способа является, во-первых, местоположение роботизированного манипулятора и системы технического зрения. Производить сканирование и одевание доильных стаканов со стороны хвоста, нецелесообразно, т.к. во время процесса доения есть возможность непроизвольной дефекации животного, с последующим загрязнением узлов рабочего органа, во время процесса доения есть возможность, что корова ногой произведет точечный удар в один из улов рабочего органа, вызвав тем самым механические повреждения. Во-вторых, для сохранения в машиночитаемый энергонезависимый носитель информации данных о местоположения сосков, требуется расходование значительных производственных ресурсов на сканирование вымени и сосков каждого животного для накопления базы данных; вымя и соски животного, их физиологические характеристики (объем соска, расстояние между сосков) изменяются не только в процессе жизни животного, но и от дня лактации, и от времени суток, в разное время суток при определенных типах кормления физиологические характеристики вымени изменяются, поэтому последующее определение местоположения сосков, после определения фактического местоположения первого соска, на основании прошлых измерений является недостаточно эффективной и точной, что увеличивает вероятность некорректного определения местоположения.

В патентном документе WO 2010023121 A2, опубл. 04.03.2010, МПК A01J5/00, G06T7/00 описывается устройство для определения положения сосков доильного животного в доильной системе, которое содержит роботизированный манипулятор и систему технического зрения, состоящую из пар камер – стереоскопическая система определения координат. Пара камер производит многократную запись пар изображений, где из полученных данных извлекает координаты положения нижних точек сосков для последующего наведения.

Недостатком известного способа является использование пар камер – стереоизображения. В случае с определением местоположения сосков пары камер, хоть и являются более дешевым устройством, но неэффективны в плане точного получения координат. Пары камер всегда имеют большую погрешность в определении расстояния до объекта, в сравнении с оптическими устройствами, основанными на освещении объекта коротким световым импульсом, например Lidar или ToF камеры, с генерацией облака точек. Т.к. для обеспечения одевания доильных стаканов на соски вымени погрешность в измерении должна быть не более 5 мм, с учетом того, что во время доения животное производит непроизвольные колебательные движения, применение пар камер – неэффективно в связи с невозможностью достижения необходимой точности.

Наиболее близким по технической сущности к заявляемому устройству, является устройство, описанное в патентном документе EP 1656014 B1, опубл. 05.10.2016, МПК A01J5/017, G06T7/00, G06T7/60. Устройство содержит оптический датчик, для определения сосков вымени коровы и получения координат нижней точки соска. Датчик установлен в непосредственной близости от вымени коровы на роботизированном манипуляторе, который производит сканирование сосков, далее полученное изображение обрабатывает набором алгоритмов: фильтрация, обнаружение краев соска, угла наклона соска, расстояние между сосков. Полученные данные передаются на роботизированный манипулятор для осуществления одевания доильных стаканов.

Недостатком известного устройства является, стационарное закрепление датчика на манипуляторе в роботизированной доильной машине. Стационарное закрепление на манипуляторе обеспечивает недостаточную эффективность при определении координат кончиков сосков коровы. Недостаточная эффективность приводит к неудачным попыткам определения координат кончиков сосков коровы и увеличению времени для этого.

На практике зачастую от стационарного расположения системы технического зрения на манипуляторе, получают изображение, где плохо отображен или не виден, по меньшей мере, один из задних сосков. Это связано с совокупностью факторов: физиологическим строением разного типа вымени коров, стартовым и последующим местоположением роботизированного доильного аппарата, движением коров. Недостатком известного способа является отсутствие алгоритма нормализации угла при обнаружении и определении координат кончиков сосков, т.к. при расположении оптического устройства под углом, получаемые данные являются некорректными, отчего не достигается максимальная точность определения координат нижней точки сосков вымени.

Доение крупного рогатого скота на современных животноводческих роботизированных комплексах предполагает точное и безошибочное определение координат сосков вымени молочной коровы, т.к снижается время задержки между тем, как корова зашла в стойло роботизированной доильной установки и начался процесс доения молока, увеличивается надой не только от одной коровы, но и пропускная способность одной доильной роботизированной установки в день, что в свою очередь увеличивает валовый надой молока.

Технической задачей предлагаемого устройства является повышение эффективности определения координат кончиков сосков вымени молочной коровы, снижение количества неудачных попыток определения координат кончиков сосков и ускорение процесса доения.

Технический результат достигается тем, что устройство бесконтактного сканирования биологических объектов, включающее оптический датчик для получения трехмерных карт, манипулятор и блок управления для обработки трехмерных карт, согласно изобретению, снабжено стрелой, связанной поворотными механизмами с одной стороны с оптическим датчиком, а с другой с манипулятором, принимающими сигналы от блока управления.

Способ бесконтактного сканирования биологических объектов, заключающийся в том, что, используя оптический датчик, получают трехмерное изображение, передают его в блок управления, обрабатывают трехмерные карты и находят границы, по меньшей мере, одного соска, фильтруют трехмерные карты от шумов, находят края соска, определяют углы наклона сосков, расстояния между сосками, вычисляют координаты нижней точки сосков, фильтруют участки трехмерного изображения и передают координаты кончиков сосков в блок управления, согласно изобретению, блок управления подает сигнал об изменении положения оптического датчика, определяет его фактическое положение и проводит нормализацию угла трехмерной карты по отношению к датчику.

Устройство для бесконтактного сканирования биологических объектов поясняется чертежами.

На фиг. 1 представлен изометрический вид устройства при взаимодействии с выменем и сосками коровы, на животноводческом комплексе в стойле роботизированной доильной установки, на фиг. 2 – вид сверху устройства, при взаимодействии с выменем и сосками коровы; на фиг. 3 – алгоритм работы устройства, на фиг. 4 – нормализация угла.

Устройство для бесконтактного сканирования биологических объектов содержит оптический датчик 1 для получения трехмерных карт, который может быть выполнен в виде, по меньшей мере, одного оптического устройства в совокупности с вычислительным устройством, или, по меньшей мере, в виде одной ToF камеры, или, в виде одного лидара. Датчик 1 установлен на поворотном механизме 2, который закреплен на стреле 3, которая, в свою очередь, закреплена другим концом на поворотном механизме 4 стрелы 3 к манипулятору 5. Манипулятор 5 расположен под дойным животным 6, например коровой, и изначально направлен в сторону сосков 7 животного. Блок управления 8 для обработки трехмерных карт связан с датчиком 1 любым типом передачи данных, например, локально, с поворотным механизмом 2 датчика 1, а также поворотным механизмом 4 стрелы 3 и манипулятором 5.

В блоке управления 8 производится обработка трехмерных изображений сосков 7 животного 6, которые формируются датчиком 1.

Устройство для бесконтактного сканирования биологических объектов работает следующим образом.

Животное 6 заходит в стойло роботизированной доильной установки (на фиг. не показано). Манипулятор 5 занимает стартовую позицию в непосредственной близости от сосков 7. Датчик 1 получает трехмерное изображение сосков 7. Передает его на блок управления 8, где производится обнаружение границ, по меньшей мере, одного соска 7. При неудачном обнаружении, повторяется процесс получения трехмерного изображения. При успешном определении расположения, по меньшей мере, одного соска 7, производится обнаружение остальных трех сосков. При неудачном обнаружении всех четырех сосков 7, блок управления 8 принимает решение о смене ракурса сканирования, например, если не был обнаружен задний правый сосок, тогда поворотный механизм 4 перемещает стрелу 3 в правую сторону и после этого выравнивает датчик 1 с помощью поворотного механизма 2 перпендикулярно правому дальнему соску 7. Если не был обнаружен левый задний соскок, то повторяются те же действия, но в левую сторону. Перемещение стрелы 3 происходит в плоскости 0XY. Далее датчик 1 занимает положение с левой или правой стороны в плоскости 0XY, с которого появляется возможность получить трехмерное изображение сосков 7. Действия повторяются до тех пор, пока будут обнаружены четыре соска 7. После этого в блоке управления 8 происходит обработка трехмерных изображений и вычисление координат кончиков сосков 7. Работа устройства завершена.

Способ работы устройства для бесконтактного сканирования биологических объектов осуществляется следующим образом.

Алгоритм работы устройства для бесконтактного сканирования биологических объектов заложен в блоке управления 8. В начале работы шаг S1 производится получение трехмерного изображения шаг S2 оптическим датчиком сосков животного 1, после получения трехмерного изображения данные передаются шаг S3 на блок управления 8. Далее, на шаге S4 производится обнаружение границ области, по меньшей мере, одного соска 7, при неудачном обнаружении границ области на шаге S4 выполняется повторное получение трехмерного изображения и возвращение к шагу S2. При успешном обнаружении границ области на шаге S4, по меньшей мере, одного соска, на шаге S5 производится обнаружение границ четырех сосков. При неудачном обнаружении границ четырех сосков на шаге S5, производится изменение положение датчика шаг S6. После чего, передается сигнал от блока управления 8 на поворотные механизмы 2, 4. Операция на шаге S5 выполняется до тех пор, пока не будут обнаружены границы четырех сосков. После удачного обнаружения границ четырех сосков на шаге S5, производится фильтрация шумов шаг S7 с помощью фильтров, например фильтры Гаусса. Следующим шагом S8 выполняется нормализация угла трехмерного изображения, т.к. датчик 1 установлен под углом к соскам вымени коровы 8 и датчик 1 изменял свое положение относительно стартового положения, а так же выполняется определение вертикальных и горизонтальных краев сосков, определение углов наклона сосков, определение расстояния между сосками, определение центральной оси между передними и задними сосками правой стороны и передними и задними сосками левой стороны вымени. Нормализация угла необходима чтобы эмитации положение датчика перпендикулярно соску, тем самым увеличивая шанс правильного его обнаружения. Известно, что оптимальным положением датчика является его размещение перпендикулярно центрально вертикальной оси соска.

Затем на шаге S9 производится фильтрация трехмерной карты от областей изображения, которые не содержат сведений о сосках, оставляя только части трехмерного изображения, которые содержат истинную информацию о положении сосков. Далее, на шаге S10 производится вычисление координат нижней точки сосков и последующая передача координат кончиков сосков на блок управления шаг S11. Шаг S12 конец работы.

Применение устройства бесконтактного сканирования биологических объектов повысит эффективности определения сосков вымени молочной коровы, снизит количество неудачных попыток определения координат кончиков сосков, ускорит процесса доения и получение большего количества сырого молока.

Изобретение относится к сельскому хозяйству. Устройство бесконтактного определения сосков вымени коровы, характеризующееся тем, что оно включает оптический датчик 1 для получения трехмерного изображения сосков, манипулятор 5 и блок управления 8 для обработки трехмерного изображения сосков, при этом оптический датчик 1 установлен на поворотном механизме 2, который закреплен на стреле 3, при этом стрела 3 другим концом прикреплена поворотным механизмом 4 к манипулятору 5. Способ бесконтактного определения сосков вымени коровы с использованием вышеописанного устройства заключается в том, что, используя оптический датчик 1, получают трехмерное изображение сосков, передают его в блок управления 8, обрабатывают трехмерные изображения и находят границы по меньшей мере одного соска 7, производят обнаружение остальных сосков, фильтруют трехмерные изображения от шумов, находят вертикальные и горизонтальные края сосков, определяют углы наклона сосков, расстояния между сосками, вычисляют координаты нижней точки сосков, фильтруют участки трехмерного изображения и передают координаты кончиков сосков в блок управления 8, отличается тем, что блок управления 8 подает сигнал об изменении положения оптического датчика 1, активируя поворотный механизм 2 оптического датчика, и передвижением стрелы 3 с помощью активации поворотного механизма 4 определяет его фактическое положение, а также проводит нормализацию угла трехмерного изображения по отношению к оптическому датчику 1. Изобретение позволяет повысить эффективность определения координат кончиков сосков вымени молочной коровы, снизить количества неудачных попыток определения координат кончиков сосков и ускорить процесс доения. 2 н.п. ф-лы, 4 ил.

1. Устройство бесконтактного определения сосков вымени коровы, характеризующееся тем, что оно включает оптический датчик 1 для получения трехмерного изображения сосков, манипулятор 5 и блок управления 8 для обработки трехмерного изображения сосков, при этом оптический датчик 1 установлен на поворотном механизме 2, который закреплен на стреле 3, при этом стрела 3 другим концом прикреплена поворотным механизмом 4 к манипулятору 5.

2. Способ бесконтактного определения сосков вымени коровы с использованием устройства по п. 1, заключающийся в том, что, используя оптический датчик 1, получают трехмерное изображение сосков, передают его в блок управления 8, обрабатывают трехмерные изображения и находят границы по меньшей мере одного соска 7, производят обнаружение остальных сосков, фильтруют трехмерные изображения от шумов, находят вертикальные и горизонтальные края сосков, определяют углы наклона сосков, расстояния между сосками, вычисляют координаты нижней точки сосков, фильтруют участки трехмерного изображения и передают координаты кончиков сосков в блок управления 8, отличающийся тем, что блок управления 8 подает сигнал об изменении положения оптического датчика 1, активируя поворотный механизм 2 оптического датчика, и передвижением стрелы 3 с помощью активации поворотного механизма 4 определяет его фактическое положение, а также проводит нормализацию угла трехмерного изображения по отношению к оптическому датчику 1.