СПОСОБ И УСТРОЙСТВО ДЛЯ ПОЛУЧЕНИЯ ХАРАКТЕРИСТИК ЖИВЫХ ОСОБЕЙ НА РАССТОЯНИИ Российский патент 2022 года по МПК G06T7/00 G06V40/10 

Область техники, к которой относится изобретение

Настоящее изобретение направлено, в целом, на область автоматизированных способов и систем измерений. В частности, изобретение относится к способу, и устройству, для определения характеристик живых особей, таких как сельскохозяйственные животные, на расстоянии, т.е., дистанционно или бесконтактным образом. Определение характеристик включает в себя вычисление размерных параметров живых особей, включающих в себя ориентацию, размер и позу, среди прочего, и/или 3D-представление живых особей.

В этом документе под "картой" следует понимать множество пространственных взаимосвязей или последовательность отличительных признаков или график (одно-, двух- или многомерный), в котором различная информация связывается. Следовательно, карта может быть последовательностью размеров тела и ориентаций или взаимосвязью температур тела в различных позициях. Это, в частности, применяется к карте анализа формы, карте анализа профиля по глубине и карте тела.

Уровень техники изобретения

Способы и/или устройства для дистанционного определения характеристик живых особей являются известными в области техники.

Например, EP3158289, того же заявителя настоящего изобретения, относится к способу и устройству для автоматизированного вычисления параметров объекта, такого как свинья или другое сельскохозяйственное животное. Способ содержит: получение, посредством двухмерной камеры, в сцене, двухмерного изображения, по меньшей мере, одного объекта; идентификацию объекта в полученном двухмерном изображении; вычисление, посредством первого средства, размера пиксела объекта в полученном и сегментированном двухмерном изображении с учетом расстояния между объектом и двухмерной камерой; и вычисление, посредством второго средства, нескольких параметров, включающих в себя, по меньшей мере, размер, габариты, габариты части тела, отличительные признаки тела, вес и/или объем объекта, с помощью упомянутого вычисленного размера пиксела и априорной модели объекта, при этом упомянутая априорная модель включает в себя информацию, связывающую различные части, контуры или формы, характерные для нескольких объектов (200), ранее полученные с помощью двухмерной камеры, с несколькими параметрами упомянутых нескольких объектов.

US-5474085 предоставляет способ и оборудование для удаленного считывания домашнего скота, с помощью термографической системы считывания изображения, для того, чтобы определять одно или более из числа, веса, местоположения, температуры, pH туши и т.д. животных в зоне наблюдения. Термографическое изображение, содержащее пикселы зоны, отправляется плате оцифровки в микрокомпьютере, где изображение преобразуется в числовой массив. Числа затем интерпретируются посредством программного обеспечения, чтобы предоставлять желаемую информацию в разборчивой форме.

US-5412420 описывает систему, которая измеряет трехмерные фенотипические характеристики животного, такого как молочная корова. Система использует большое число модулированных лазерных световых пучков из камеры лидара, чтобы измерять приблизительно 100 точек на квадратный дюйм животного. Каждый лазерный луч измеряет интенсивность, габариты по горизонтали, вертикали и глубине, и, посредством объединения измерений, система составляет очень точное трехмерное изображение животного. Система вычисляет желаемые фенотипические показатели для подтверждения животного посредством объединения показателей выбранных точек на животном. Система затем сохраняет показатели измерений для каждого животного в компьютерной базе данных для последующего использования. Система также сохраняет изображение интенсивности света для меток животного, которые сравниваются с другими сохраненными изображениями.

US-A1-20150302241 описывает системы и способы для улучшения здоровья и благополучия субъектов в промышленном применении. Системы могут включать в себя камеру, размещенную так, чтобы наблюдать за одним или более отличительными признаками субъекта, и процессор, соединенный с камерой, процессор сконфигурирован, чтобы анализировать одно или более изображений, получаемых от нее, извлекать один или более отличительных признаков из изображения(ий) субъекта и анализировать один или более отличительных признаков, или подпризнаков, вложенных в них, чтобы прогнозировать конечное состояние субъекта. В частности, система может быть сконфигурирована, чтобы формировать диагностический сигнал (например, конечный результат, повышенную температуру, воспаление вымени, вирус, бактериальную инфекцию, половое возбуждение и т.д.) на основе анализа.

Документ "Black cattle body shape and temperature measurement using thermography and KINECT sensor" вводит систему измерения формы тела и температуры крупного рогатого скота. Как указывают авторы этого документа, является важным оценивать качество японского крупного рогатого скота периодически в процессе его роста, не только вес и размер крупного рогатого скота, но также позу, форму и температуру, которые необходимо отслеживать в качестве первичных критериев оценки. В этом исследовании KINECT-датчик и тепловая камера получают форму тела и его температуру. Вся система калибруется, чтобы работать в общей системе координат. Данные облака точек получаются с различных углов и воссоздаются на компьютере. Тепловые данные также захватываются. И данные облака точек, и тепловая информация объединяются с учетом ориентации коровы. Собранная информация используется для оценки и расчета условий крупного рогатого скота.

Ни один из этих документов предшествующего уровня техники не предоставляет, однако, возможности выполнения быстрых (менее секундного режима) и автоматизированных измерений, чтобы получать достоверный, воспроизводимый и точный расчет параметров 3D-ориентации и/или позы домашнего скота, и/или вычисления карты его тела, в то время как домашний скот свободно перемещается по ферме или в своей естественной среде.

Описание изобретения

Настоящее изобретение предлагает, согласно первому аспекту, способ для определения характеристик живой особи на расстоянии, предпочтительно сельскохозяйственного животного, такого как свинья, бык, корова, овца, бройлер, утка или цыпленок, и т.д. в то время как животное свободно перемещается по ферме или в своей естественной среде. Следует отметить, что способ применим для определения характеристик любого объекта со сложной формой.

Способ содержит a) получение одного изображения живой особи посредством блока получения изображения, такого как камера, и дальнейшую сегментацию полученного изображения посредством блока обработки, предоставляющего сегментированное изображение; b) измерение, посредством телеметрического блока (на заданном расстоянии блока получения изображения), расстояния до нескольких частей полученного изображения, предоставляющее несколько показателей расстояния, и выбор подмножества этих показателей расстояния, содержащихся в сегментированном изображении живой особи; и c) обработку, посредством блока обработки (эквивалентного или отличного по отношению к другому блоку обработки), сегментированного изображения и упомянутых нескольких показателей расстояния, ссылающихся на различные позиции, содержащиеся в сегментированном изображении.

Согласно предложенному способу упомянутый этап c) содержит определение характеристики формы живой особи, оценку глубины живой особи и сравнение результатов упомянутых предыдущих определений характеристик для того, чтобы получать качественный параметр/оценку, указывающую, что части тела живой особи или анатомические ориентиры являются фактически измеренными и правильно позиционированными, или более хорошая оценка должна быть найдена.

Т.е., если результат сравнения содержится внутри заданного диапазона, означая, что выполненные измерения являются корректными, способ может дополнительно определять некоторые параметры живой особи (например, параметры позы, такие как ориентация по глубине и/или изгиб тела живой особи, местоположение и корректировка анатомических контрольных точек, параметры размера тела и т.д.) и/или может дополнительно представлять карту тела (предпочтительно 3D) живой особи. Напротив, если результат сравнения содержится вне упомянутого заданного диапазона, означая, что выполненные измерения являются некорректными, например, так как живая особь переместилась, в то время как изображение было получено, способ может дополнительно содержать повтор предыдущих этапов a)-c) и, таким образом, получение новой карты анализа профиля по глубине и новой карты анализа формы. Альтернативно, если результат содержится вне диапазона, может быть сделан выбор ничего не делать и представлять карту тела живой особи, которая будет иметь ассоциированную ошибку.

Предпочтительно, определение характеристики формы выполняется посредством реализации алгоритма, который, по меньшей мере, вычисляет в сегментированном изображении одно или более из следующего: центр тяжести живой особи, ориентацию живой особи в сегментированном изображении относительно контрольной точки, и/или конкретную часть тела живой особи посредством определения местоположения анатомических контрольных точек живой особи в сегментированном изображении. Результат определения характеристики формы предоставляет карту анализа формы.

Определение характеристики глубины также предпочтительно выполняется посредством реализации алгоритма, который, по меньшей мере, вычисляет в показателях расстояния, содержащихся в сегментированном изображении, конкретную часть тела живой особи посредством определения местоположения анатомических контрольных точек живой особи в показателях расстояния. Результат определения характеристики глубины предоставляет одну карту анализа профиля по глубине (он может предоставлять более одной).

Следует отметить, что порядок, в котором этапы для определения характеристик выполняются, не имеет значения. Кроме того, оба определения характеристик могут быть выполнены в одно и то же время.

Кроме того, согласно предложенному способу, блок получения изображения (например, камера, либо RGB, тепловая, либо обе камеры) и телеметрический блок (например, система лидара или времяпролетная (TOF) система) калибруются. Оба блока предпочтительно размещаются на заданном расстоянии между ними и, в частности, присоединяются к общей опоре.

В варианте осуществления способ дополнительно оценивает часть трехмерной информации об относительной позиции блока получения изображения и живой особи, чтобы получать некоторые дополнительные параметры, такие как: среднее значение, по меньшей мере, одного угла между блоком получения изображения и живой особью, степень изгиба или плоскостность формы живой особи, высота блока получения изображения относительно пола или высота блока получения изображения относительно роста живой особи и/или угол оптической оси блока получения изображения относительно пола.

В варианте осуществления ориентация живой особи вычисляется посредством подгонки сегментированного изображения в эллипс посредством функции подбора методом наименьших квадратов, гауссовой модели, анализа главных компонентов (PCA), прямоугольника минимальной площади, преобразования Хафа или относительно главной оси двумерного преобразования Фурье, среди прочего.

В случае, когда часть тела вычисляется в карте анализа формы, эта часть тела может быть вычислена посредством круглого преобразования Хафа, которое вычисляет радиус фрагмента, содержащего окорок или ляжку в сегментированном изображении. Альтернативно, часть тела может быть вычислена посредством полиномиальной функции второго порядка, которая обнаруживает хвостовую часть живой особи в сегментированном изображении посредством подгонки параболы вокруг центра тяжести и оси ориентации.

Дополнительно, чтобы улучшать карту анализа формы, дополнительные вычисления могут быть выполнены. Например, в варианте осуществления, контур живой особи в сегментированном изображении вычисляется, кодируется вычисленный контур в полярных координатах, и дополнительно применяется функция преобразования Фурье к упомянутым полярным координатам, предоставляющая несколько коэффициентов Фурье, модули которых являются поворотно инвариантными, и аргумент которых содержит информацию о повороте.

В другом варианте осуществления сегментированное изображение может быть закодировано как моменты изображения, например: статические моменты, центральные моменты или моменты Ху, предоставляющие несколько коэффициентов, которые являются представлением формы способом, аналогичным преобразованию Фурье. Однако, эта операция может быть применена к сегментированной зоне, контуру или подмножеству контура.

В другом варианте осуществления контур живой особи вычисляется, и метрики расстояния дополнительно вычисляются в вычисленном контуре на основе метрики расстояния, включающей в себя евклидову, геодезическую, городских кварталов, среди прочего.

В другом варианте осуществления контур живой особи из сегментированного изображения вычисляется посредством функции скелетизации, предоставляющей изображение скелета живой особи. Необязательно, точки ветвления и конечные точки в упомянутом скелете могут быть дополнительно вычислены, чтобы рассчитывать анатомические позиции различных частей тела.

В еще одном варианте осуществления вычисляется преобразование расстояния для сегментированного изображения.

Этап a) может содержать получение нескольких изображений живой особи в различные периоды времени, так что различные позы живой особи могут быть захвачены. В этом случае, для каждого полученного изображения получается последовательность измерений расстояния.

В этом последнем случае, информация, полученная для каждого обнаружения, может быть интегрирована/объединена, так что последовательность парных карт анализа профиля по глубине и карт анализа формы получается. Затем, способ может дополнительно содержать назначение оценки каждой паре карт и выбор пары, имеющей наивысшую оценку. Альтернативно, способ может дополнительно сопоставлять анатомические контрольные точки во всех сборах информации и накапливать различные части карт анализа профилей по глубине и анатомические контрольные точки, чтобы вычислять трехмерную реконструкцию живой особи, или даже способ может вычислять карту тела для каждого сбора информации и накапливать всю информацию для каждой карты тела, оцениваемую для расширенной (или улучшенной) карты тела.

В случае, когда карта тела живой особи представляется, эта карта тела может быть использована, чтобы вычислять характеристики карты тела на основе отличительных признаков блока получения изображения (например, цвета, температуры и т.д.) или чтобы вычислять дополнительные характеристики, измеряемые посредством дополнительного устройства, предварительно откалиброванного (например, тепловой камеры высокого разрешения, спектральных свойств).

Может случаться, что полученное изображение включает в себя более одной живой особи. В этом случае, предложенный способ, в варианте осуществления, может вычислять и сравнивать карту анализа формы и карту анализа профиля по глубине, полученные для каждой живой особи, включенной в изображение, так что все особи, включенные в одно изображение, могут быть охарактеризованы в одном сборе информации.

Настоящее изобретение также предлагает, согласно другому аспекту, устройство для определения характеристик живых особей на расстоянии. Устройство содержит блок получения изображения, чтобы получать одно или более изображений одной или более живых особей; первый блок обработки, чтобы сегментировать полученное изображение, предоставляющий сегментированное изображение; телеметрический блок, чтобы измерять расстояние до нескольких частей полученного изображения, предоставляющий несколько показателей расстояния, и чтобы измерять подмножество таких показателей расстояния, содержащихся в сегментированном изображении живой особи; и второй блок обработки, сконфигурированный, чтобы обрабатывать сегментированное изображение и упомянутые несколько показателей измерения расстояния, ссылающихся на различные позиции, содержащиеся в сегментированном изображении.

Предпочтительно, блок получения изображения и телеметрический блок размещаются на заданном расстоянии на одной опоре.

Первый и второй блоки обработки могут быть независимыми блоками или одним и тем же блоком.

Согласно предложенному устройству второй блок обработки приспосабливается и конфигурируется, чтобы реализовывать способ первого аспекта изобретения. Кроме того, блок получения изображения и телеметрический блок калибруются.

Система получения изображения может быть RGB-камерой с расширенной NIR в красном канале и/или тепловой камерой. Телеметрический блок может быть вращающимся лидаром, сканирующим лидаром, множеством лидаров, времяпролетным (TOF) датчиком, TOF-камерой или любым другим телеметрическим средством с или без движущихся частей на основе одноточечного или многоточечного обнаружения.

Краткое описание чертежей

Предыдущие и другие преимущества и отличительные признаки будут более полно поняты из последующего подробного описания вариантов осуществления со ссылкой на прилагаемые чертежи, которые должны рассматриваться иллюстративным, а не ограничивающим образом, на которых:

Фиг. 1 и 2 являются двумя блок-схемами последовательности операций, иллюстрирующими два варианта осуществления способа для определения характеристик живых особей на расстоянии.

Фиг. 3 показывает три различных варианта, которые могут быть использованы, отдельно или в их сочетании, чтобы получать карту анализа формы. Фиг. 3A показывает три сбора информации, в которых хвостовая часть обнаруживается в качестве минимального расстояния для профиля по глубине, и это находится в соответствии с анализом формы при наличии ближайшего центра тяжести к профилю по глубине в центральном столбце; фиг. 3B показывает те же три сбора информации, в которых хвостовая часть обнаруживается в качестве минимального расстояния для профиля по глубине, и это находится в соответствии с анализом формы при наличии наиболее параллельной оси к профилю по глубине в центральном столбце; фиг. 3C показывает те же три сбора информации, в которых хвостовая часть обнаруживается в качестве минимального расстояния для профиля по глубине, и это находится в соответствии с анализом формы посредством определения местоположения хвостовой части с правой стороны в центральном столбце.

Фиг. 4A иллюстрирует то, как вычисление центра тяжести и расчетной ориентации выполняется согласно варианту осуществления; фиг. 4B показывает, как две параболы подгоняются к левому (штриховая линия) и правому (сплошная линия) крайним значениям контура после корректировки ориентации.

Фиг. 5 показывает представление преобразования расстояния для двоичного изображения на основе эвклидовой метрики в качестве контурных линий. Штриховая линия с отметками показывает границу сегментированного изображения. Оценка изображения является более высокой для тех точек, которые находятся дальше от какой-либо границы.

Фиг. 6A - скелетное изображение; на фиг. 6B треугольники показывают конечные точки, а круги показывают точки ветвления; на фиг. 6C прямая линия отмечает соединение между передней ступней, перекрестьем, бедром и задней ступней, которая является первой оценкой анатомических контрольных точек; и на фиг. 6D дополнительные линии отмечают соединение с другими контрольными точками типа головы и хвостовой части (с помощью белого круга) и центральную ширину тела.

Фиг. 7 иллюстрирует, как сопоставление карты анализа формы и местоположения сканирования лидара предоставляет возможность узнать конкретную глубину для множества точек изображения.

На фиг. 8 верхний ряд показывает последовательность сборов информации сегментированного изображения и телеметрических показателей посредством вращающегося лидара, согласно варианту осуществления. Центральный ряд показывает показатели расстояния и горизонтальную позицию пиксела в изображении. Нижний ряд показывает преобразование изображения и пиксельные позиции в реальное пространство.

Фиг. 9 показывает угловую корректировку измеренной карты анализа профиля по глубине, чтобы измерять конкретные характеристики тела и оценивать качество измерения.

Фиг. 10A - это интерполяция скорректированного профиля по глубине и аннотирование частей тела, вычисленных посредством анализа формы и профиля по глубине, в которой является возможным сравнивать вычисление анатомических позиций обоих анализов; и фиг. 10B - это оригинальное изображение с двоичным контуром сегментированного изображения, интерполированной картой анализа профиля по глубине и частями тела, которые вычислены посредством анализа профиля на фиг. 10A.

Фиг. 11 - это пример карты тела свиньи, в которой анатомические контрольные точки находятся в трехмерных координатах. Центр тяжести - это (0, 0, 0), и различные части тела, типа хвоста или головы, отмечаются на карте в реальном пространстве, показывающем координаты в сантиметрах, например.

Фиг. 12A и 12B являются двумя изображениями одной и той же свиньи в два различных момента времени, ограждение может быть видно на правой стороне (A), тогда как стенка является единственным фоном на (B); фиг. 12C и 12D являются скелетным представлением сегментированного изображения, части тела получаются посредством анализа формы и способов на фиг. 6.

Фиг. 13A показывает перекрывающиеся двоичные контуры и контрольные точки и части тела для двух сборов информации, показанных на фиг. 12; фиг. 13B показывает нормализованное пространство посредством переноса и вращения; и фиг. 13C показывает пространственное преобразование на основе контрольных точек.

Фиг. 14A и 14B показывают контур, профиль по глубине, контрольные точки из анализа профиля из фиг. 8 в левом и центральном столбцах, соответственно; фиг. 14C показывает перекрытие контрольных точек и профилей по глубине со скорректированными координатами на изображении (B); и фиг. 14D показывает перекрытие контрольных точек, контур и накопление двух карт анализа профилей по глубине.

Фиг. 15 показывает анатомическое соотношение частей тела или контрольных точек.

Фиг. 16 иллюстрирует виды проекций сверху и спереди для однозначного соотношения углов ɸ и θ. На этом чертеже можно также наблюдать, что изображения могут быть получены с любого угла и расстояния.

Фиг. 17A является сегментацией изображения быка, в котором концы рогов, центральная точка между рогами и рот обнаруживаются, и опорные линии прослеживаются в соотношении с этой парой точек, чтобы строить карту формы, точки показывают позицию изображения, в которой профиль по глубине (фиг. 17D) измеряется; фиг. 17B показывает анализ формы на основе скелетного представления и обнаружения точек ветвления (круги) и конечных точек (треугольники); фиг. 17C является увеличением для фиг. 17B, чтобы показывать конкретные местоположения точек ветвления и конечных точек; и фиг. 17D является профилем по глубине в основании рогов и верхней части головы.

Фиг. 18 иллюстрирует карту анализа формы головы, чтобы определять местоположение рогов и вычислять суммарную длину.

Фиг. 19A - это оригинальное изображение; фиг. 19B - это обведенный и внутренний контуры от узкого края; и фиг. 19C - это скелетное представление, точки ветвления и конечные точки как основа карты анализа формы.

Фиг. 20A - это сегментированное изображение в качестве контура, центр тяжести как белый круг и позиции изображения карты анализа профиля по глубине как ось, перпендикулярная ориентации, показанной пунктирной линией; и фиг. 20B является полученной картой анализа профиля по глубине в реальном пространстве.

Фиг. 21A - это сегментированное изображение в качестве контура, центр тяжести как белый круг, и позиции изображения профиля по глубине как траектория, проходящая через голову и хвост, показанная пунктирной линией, или конкретные точки карты анализа формы; и фиг. 21B является полученной картой анализа профиля по глубине в реальном пространстве.

Фиг. 22 - это видеоизображение, с наложенной сегментированной зоной из теплового изображения и небольшими точками, показывающими измерения лидара.

Фиг. 23 иллюстрирует расстояние TOF-изображений (слева) и вычисление преобразования Хафа (справа) для обнаружения хвостовой части и лопатки, отслеживания спинного хребта в качестве срединной точки посредством сканирования тела и вычисления дополнительных анатомических точек в способе 2.

Фиг. 24 иллюстрирует пример обработки карты тела, которая предоставляет возможность извлечения дополнительных признаков из других систем (т.е., тепловой камеры).

Подробное описание изобретения и предпочтительных вариантов осуществления

Настоящее изобретение предоставляет способ и устройство для выполнения автоматизированных измерений живых особей для того, чтобы характеризовать живые особи.

Фиг. 1 графически иллюстрирует блок-схему последовательности операций предложенного способа согласно варианту осуществления. Согласно этому варианту осуществления способ получает одно изображение живой особи через блок получения изображения, такой как тепловая камера или RGB-камера, в этом конкретном случае, свиньи (не является ограничивающей в качестве какой-либо живой особи, которая может быть охарактеризована), и дополнительно сегментирует полученное изображение, предоставляя сегментированное изображение (этап a). В то же время, или позже, способ измеряет посредством телеметрического блока расстояние до нескольких частей упомянутого полученного изображения, предоставляя несколько показателей расстояния, и выбирает подмножество таких показателей расстояния, содержащихся в сегментированном изображении свиньи (этап b). Сегментированное изображение и показатели расстояния затем обрабатываются (этап c). В этом конкретном варианте осуществления этап обработки содержит определение характеристики формы свиньи посредством алгоритма, который вычисляет карту анализа формы (этап c1); определение характеристики глубины свиньи посредством алгоритма, который вычисляет карту анализа профиля по глубине (этап c2). Наконец, способ подразумевает сравнение карты анализа формы и карты анализа профиля по глубине (этап c3). Результат/оценка сравнения может быть использована, чтобы принимать решение, могут ли параметры свиньи быть вычислены с достаточным качеством, и/или может ли карта тела (см. фиг. 2), предпочтительно 3D-представление, быть вычислена с достаточным качеством, или должен ли способ быть повторен, скорректирован или прекращен.

Полученное изображение предпочтительно является двухмерным изображением любого типа (например, в оттенках серого, цветным, тепловым или цветным и тепловым). Любой способ сегментации, который преобразует полученное изображение в сегментированное изображение, может быть использован. Сегментированное изображение является результатом обработки одного изображения (например, в оттенках серого, цветного, теплового или их сочетания) и разделения пикселов изображения на два класса: (1) пикселы, которые содержатся в свинье, и (2) пикселы, не содержащиеся в свинье.

Сегментированные изображения могут быть закодированы различными способами: (1) двоичная карта, в которой пикселы, содержащиеся в свинье, устанавливаются в максимальное значение, а пикселы, не содержащиеся в свинье, устанавливаются в минимальное значение; (2) двоичный контур, в котором пикселы, содержащиеся в крае свиньи, устанавливаются в максимальное значение, а пикселы, не содержащиеся в свинье, устанавливаются в минимальное значение; (3) вектор, в котором позиции границы устанавливаются в векторе.

Телеметрический блок конфигурируется, чтобы измерять расстояние, по меньшей мере, двух точек, которые содержатся в сегментированном изображении. Показатели расстояния могут быть получены различными способами. Например, телеметрический блок может быть реализован посредством вращающегося лидара со скоростью вращения 10 Гц (100 мс для полного считывания углов и расстояний) и менее чем одной степенью разрешения. Предварительная калибровка блока получения изображения и лидара, или калибровка тепловой камеры в камеру видимого или ближнего инфракрасного диапазона спектра, которая затем калибруется до лидара, предоставляет возможность строить таблицу, которая используется для преобразования координат лидара (т.е. угла и измеренного расстояния) в координаты изображения (т.е., строку и столбец двухмерного изображения). Альтернативно, специализированная камера с конкретным оптическим фильтром для обнаружения только длины волны лидара может быть использована для точного позиционирования координат изображения и информации лидара. Альтернативно, телеметрический блок может быть реализован посредством нового типа камер с TOF-технологией, которая предоставляет двухмерное изображение с расстояниями. Скорость превышает 10 кадров в секунду, а в некоторых случаях она может достигать 1000 кадров/с. Предварительная калибровка блока получения изображения и TOF-датчика или камеры предоставляет возможность находить взаимосвязь между пикселами блока получения изображения и пикселами TOF-датчика или камеры.

Калибровка телеметрического блока и блока получения изображения может быть выполнена посредством пары терморезисторов, расположенных на плоскости на двух произвольных глубинах по отношению к этой плоскости. В этом случае, блок получения является тепловой камерой, которая располагается таким образом, что сбор информации происходит параллельно плоскости, и терморезисторы располагаются вокруг центра вертикальной оси теплового изображения. Вращающийся лидар регулируется таким образом, что расстояния d1 и d2 каждого терморезистора измеряются относительно первоначального значения dL, например, 2 метра, относительно координат лидара (для вращающегося лидара это угол и расстояние). Так как позиция в полученном изображении изменяется с расстояниями dL, эта операция повторяется для различных расстояний dL. Эта процедура предоставляет возможность построения таблицы точек, которая связывает позиции пикселов и измеренные расстояния. Затем, строится регрессионная модель, которая связывает любые координаты лидара (угол и расстояние) с конкретной (x, y) позицией в полученном изображении и сегментированном изображении.

В другом примере, для отдельного случая, когда блок получения изображения является тепловой камерой, а телеметрический блок является TOF-камерой или датчиком, калибровка выполняется как и прежде, но с учетом большего количества точек, а не только полагаясь на линию сканирования вращающегося лидара.

Другие способы калибровки также являются возможными. Например, блок получения изображения, состоящий из одной RGB-камеры с NIR-расширением в красном канале и одной тепловой камеры, и телеметрический блок на основе вращающегося лидара могут быть откалиброваны вместе.

Определение характеристики формы для вычисления карты анализа формы содержит вычисление центра тяжести свиньи, из ориентации свиньи в сегментированном изображении относительно контрольной точки, и/или конкретной части тела свиньи посредством определения местоположения анатомических контрольных точек свиньи в сегментированном изображении. Следует отметить, что только одна методология из вышеуказанных необходима для того, чтобы вычислять карту анализа формы. Однако, их сочетания являются возможными. Фиг. 3A-3C показывают вариант осуществления трех вычислений.

Чтобы характеризовать форму свиньи, свинья определяется посредством сегментированного изображения. Форма свиньи является формой сегментированного изображения. Полученное изображение и сегментированное изображение могут быть выражены как последовательность позиций для построения двоичной карты, двоичного контура или многоточечной аппроксимации контура. Таким образом, сегментированное изображение, , в любом из своих форматов может быть выражено следующим образом:

где x, y являются столбцами и строками цифрового изображения, соответственно.

Чтобы вычислять центр тяжести, в варианте осуществления, форма свиньи характеризуется посредством моментов изображения: Следуя этому формату, тогда является возможным вычислять любой момент изображения, , согласно стандартной формуле:

Число пикселов равно моменту , центр тяжести равен .

Эти моменты могут быть непосредственно расширены до центральных моментов, которые являются трансляционно-инвариантными. Затем трансляционно-инвариантные моменты могут быть дополнительно расширены до масштабно-инвариантных, и такие масштабно-инвариантные могут быть дополнительно расширены до вращательно-инвариантных (инварианты момента Ху) посредством хорошо известных вычислений уровня техники. Этот набор моментов предоставляет возможность вычислять характерные признаки, которые могут быть ассоциированы с конкретными формами, типа формы свиньи, видимой с конкретных точек обзора (или углов ориентации).

Эти моменты могут также тривиально распространяться на множество измерений, например, 3D, чтобы характеризовать также 3D-формы:

где x, y, z являются столбцами, строками и глубиной цифрового объема, соответственно.

Чтобы вычислять ориентацию, сегментированное изображение может быть подогнано к эллипсу посредством подбора методом наименьших квадратов, гауссовых моделей, анализа главных компонентов, преобразования Хафа и т.д. Ориентация подогнанного эллипса, ориентация гауссова распределения, угол первого главного компонента или средняя ориентация линий Хафа являются быстрыми и надежными способами оценки ориентации объекта.

Чтобы вычислять конкретную часть тела, согласно варианту осуществления, см. фиг. 3C, может быть использовано преобразование Хафа. Преобразование Хафа может быть реализовано во множестве форм. В частности, круговое преобразование Хафа предоставляет возможность идентифицировать круглые области в диапазоне радиуса. Это может быть использовано для различения головы и хвостовой части свиньи. Так как хвостовая часть является более округлой, она может быть помещена в больший круг. Например, принимая во внимание сегментированное изображение в качестве двоичного контура, как показано на фиг. 3C, круговое преобразование Хафа может быть задано, чтобы обнаруживать круги с высокой чувствительностью, и требует лишь множества точек для подбора круга. Диапазон кругов может быть по следующей оценке: 1) радиус окорока, RH, должен быть около 1/3 вертикального размера сегментированного изображения; 2) диапазон поиска для радиуса тогда задается как RH +/-50% RH. Затем больший круг среди 5 кругов с максимальными баллами выбирается, что приводит в результате к кругу, центрированному в хвостовой части.

Анализ Хафа может быть расширен посредством полукруглого преобразования Хафа и получает подбор полуокружностей, что будет более надежным для получения отличий хвостовой части и головы. Он также распространяется на эллиптические формы для побора центральной части или других частей тела или головы свиньи. Обобщенное преобразование Хафа является другим способом подбора множества конкретных форм с различными масштабами и углами для сопоставления формы. Аналогичные способы сопоставления форм являются доступными и могут быть использованы эквивалентным образом.

Аналогичным образом, хвостовая часть свиньи может быть обнаружена посредством подбора многочлена второго порядка для оси, определенной центром тяжести и углом ориентации. Фиг. 4A показывает центр тяжести и ось ориентации, фиг. 4B корректирует ориентацию и подбирает параболу (многочлен второго порядка) вокруг обеих границ. Низ обнаруживается по параболе, которая имеет вершину, ближайшую к центру тяжести.

Карта анализа формы может быть улучшена посредством дополнительных нескольких стратегий вычисления. Например, с помощью анализа Фурье; в этом случае, контур свиньи может быть закодирован в полярных координатах и затем преобразован по Фурье. Это предоставляет несколько коэффициентов Фурье, модули которых являются вращательно инвариантными, и аргумент которых содержит информацию о вращении.

Фиг. 5 показывает другую стратегию, которая может быть использована. В этом случае, сегментированное изображение оценивается согласно расстоянию какой-либо точки в сегментированном изображении до ближайшей пограничной точки. Метрики расстояния могут быть многообразными: эвклидовой, городских кварталов или любой другой метрикой расстояния.

Другой стратегией является вычисление контура свиньи посредством вычисления функции скелетизации из сегментированного изображения. Скелет изображения является тонкой версией этой формы, которая является равноудаленной до ее границ. Скелет обычно подчеркивает геометрические и топологические свойства формы, такие как ее связность, топология, длина, направление и ширина. Вместе с расстоянием своих точек до границы формы скелет может также служить в качестве представления формы (они содержат всю информацию, необходимую для реконструкции формы). Точки ветвления и конечные точки могут затем быть использованы для расчета анатомических позиций различных частей тела.

Следует отметить, что эти дополнительные стратегии для вычисления карты анализа формы могут быть использованы в сочетании между ними.

Обращаясь обратно к фиг. 3 и 4, эти чертежи показывают примеры того, как анализ формы предоставляет возможность идентифицировать ориентацию от головы до хвостовой части посредством правильного "обнаружения хвостовой части", которое является основным этапом для ассоциирования точек изображения с частями тела. Дополнительное определение характеристик формы предоставляет возможность ассоциировать другие точки изображения с другими частями тела. Например, точки ветвления с высокой пограничной оценкой (вычисленной из преобразования расстояния) или рядом с осью центра тяжести могут быть ассоциированы с перекрестьем (лопаткой) и бедром, как показано на фиг. 5. Обнаружение хвостовой части дополнительно осуществляет различие между перекрестьем и бедром. Стопы ног определяются по конечным точкам, расположенным в нижней части сегментированного изображения и являющимся почти перпендикулярными линии, начерченной по перекрестью и бедру (или оси центра тяжести), и конечным точкам в нижней части, как показано на фиг. 6C.

Рассматривая определение характеристики глубины свиньи для вычисления карты анализа профиля по глубине, этот процесс содержит вычисление в показателях расстояния, содержащихся в сегментированном изображении конкретной части тела живой особи, посредством определения местоположения анатомических контрольных точек живой особи в показателях расстояния.

Этот этап может быть разделен на две основные части: (1) Локализация телеметрических расстояний до точек изображения осуществляется посредством предварительной калибровки, как описано выше, и предоставляет возможность вычисления координат изображения с информацией о глубине; и (2) взаимосвязывание точек изображения и расстояний до частей тела.

Координаты изображения с информацией о глубине, содержащейся в сегментированном изображении, предоставляют профиль глубины, как показано на фиг. 7; более крупные точки являются точками, попадающими внутрь сегментированного изображения, тогда как меньшие точки находятся снаружи. Конечные результаты карты анализа формы предоставляют возможность ассоциировать точки изображения (и информацию о глубине) с частями тела или контрольными точками. Например, информация о глубине, полученная из конкретных контрольных точек, типа центра тяжести, перекрестья, бедра, хвостовой части или других контрольных точек, полученных из анатомических ориентиров и другого анализа формы типа преобразования или скелетизации.

Конкретная настройка блока получения изображения и телеметрического блока предоставляет возможность получать релевантную 3D-информацию, относящуюся к размерам тела, и более высокую достоверность измеренных частей тела или контрольных точек. Например, настройка вращающегося лидара на ось центра тяжести или линию тела, определенную вдоль перекрестья и бедра в изображении предоставляет возможность сканировать важные отличительные признаки тела, чтобы получать конкретную информацию о глубине. Фиг. 7 показывает, что, когда выравниваемый лидар сканирует ось центра тяжести, профиль по глубине получает кривую с множеством пиков.

Фиг. 8 показывает практические примеры на последовательностях изображений, полученных при различном выравнивании лидара с осью, определенной точками перекрестья и бедра. В верхнем ряду может быть видно три двоичных контура (или силуэта) штриховыми линиями; белые кресты внутри контура показывают позицию изображения для показателей расстояния, полученных посредством вращающегося лидара; круги показывают ближайшие измерения лидара к позициям перекрестья и бедра, определенных скелетом, точками ветвления и дополнительными вычислениями, объясненными выше. Центральный ряд показывает измеренные расстояния и позицию изображения в горизонтальных пикселах. Нижний ряд показывает преобразованные измерения из позиций изображения в реальное пространство.

Анализ кривых профиля в реальном пространстве предоставляет возможность подтверждать, являются ли контрольные точки, такие как части тела или анатомические ориентиры, фактически измеренными и правильно спозиционированными, или более лучшая оценка может быть найдена.

Левый столбец на фиг. 8 показывает ситуацию, в которой вращающийся лидар сканирует свинью рядом с осью, определенной перекрестьем и бедром, так как она фактически проходит очень близко от точки, обозначенной как бедро выше и показанной на фиг. 6. Однако, угол вращающегося лидара является осью, определенной перекрестьем и бедром. В этом контексте, карта анализа профиля по глубине выглядит лишенной важных отличительных признаков тела. Правый столбец на фиг. 8 показывает ситуацию, в которой вращающийся лидар сканирует свинью от оси, определенной перекрестьем и бедром, в которой невозможно получать какую-либо информацию о глубине для формы свиньи. Центральный столбец на фиг. 8 показывает ситуацию, в которой вращающийся лидар сканирует свинью, следуя по оси, определенной перекрестьем и бедром. Как может быть видно в профиле по глубине в реальном пространстве, измерение содержит информацию о задней ноге. Задняя нога свиньи является важной частью свиньи, и толщина задней ноги свиньи является релевантным признаком во множестве контекстов. Например, размер задней ноги иберийской свиньи является важным при оценке рыночной стоимости всей свиньи. Фиг. 9 показывает измеренный профиль рядом с осью, определенной перекрестьем и бедром, в реальном пространстве, который корректируется посредством оценки линейного компонента профиля. Это предоставляет возможность измерения толщины окорока посредством оценки отличия глубины в скорректированном изображении от самой дальней позиции между перекрестьем и бедром до ближайшей позиции между бедром и хвостовой частью. Этот отрицательный пик, обнаруженный в ближайшей позиции между бедром и хвостовой частью, может считаться новой контрольной точкой, называемой "hip-max", в качестве ориентира, который является позицией, в которой толщина является максимальной в задней ноге. Местоположение этой "hip-max" может быть задано в качестве ограничения, которое должно удовлетворяться при измерении для того, чтобы делать действительной всю оценку ориентации, выполнять измерение какой-либо части тела или сохранять информацию о глубине.

Карта анализа профиля по глубине, когда сканируется через ключевые точки (например, проходя через точки перекрестья и бедра, рассчитанные по сегментированному изображению посредством анализа формы), может быть дополнительно использована для расчета точной позиции контрольных точек или частей тела. "Априорная" модель ожидаемого профиля по глубине или сплайновая интерполяция могут быть использованы для этой цели. Фиг. 10 показывает сплайновую интерполяцию показателей профиля по глубине на фиг. 9, наклоненная квадратная форма показывает позиции перекрестья и бедра, которые вычислены посредством анализа формы (как показано на фиг. 8), новые части тела повторно вычисляются из интерполированного профиля по глубине, где: позиция перекрестья является минимальным расстоянием рядом со стороной головы, hip-max является минимальным расстоянием рядом со стороной хвоста, и бедро является точкой перегиба кривой между hip-max и точкой максимума рядом с центром тяжести по направлению к стороне хвоста.

Более обобщенным образом, взаимосвязывание точек изображения и расстояний до частей тела может быть выполнено посредством привязки показателей глубины к контрольным точкам или частям тела, предоставляя возможность объединять информацию последовательности измерений, чтобы иметь более полное 3D-изображение животного или сложного объекта, как показано на фиг. 11, т.е., карту тела. Это может быть осуществлено следующим образом: (1) получаются контрольные точки или части тела из анализа формы сегментированного изображения, как показано на фиг. 6D; (2) вычисляется нормализованное пространство координат; (3) вычисляется пространственное преобразование на основе таких контрольных точек в нормализованное пространство координат; (3) применяется такое нормализованное преобразование ко всем сборам информации; (4) накапливаются все профили по глубине для нормализованного пространства координат.

Фиг. 12 показывает первый этап для получения контрольных точек или частей тела из анализа формы сегментированного изображения. Фиг. 13A показывает перекрытие двоичного контура и контрольных точек в координатах сегментированного изображения. Первое нормализованное пространство может быть вычислено посредством прямого переноса двоичного контура на центр тяжести. Затем, вращение точек посредством корректировки ориентации, которая вычислена выше. Результат представлен на фиг. 13B. Когда оба сбора информации были получены на аналогичных расстояниях, нет необходимости корректировать масштаб, но в некоторых других сборах информации это может потребоваться. Второе уточнение координат может быть осуществлено посредством построения пространственного преобразования на основе пар контрольных точек, как известно в области техники, другими средствами: полиномиальная функция, составление карты локальных весовых коэффициентов или кусочно-линейная функция. Карта многочлена третьего порядка представлена на фиг. 13C.

В зависимости от соответствия контрольных точек между двумя сборами информации накопление перекрывания может быть отброшено, и другой сбор информации может потребоваться. Одобрение сбора информации может быть ограничено считыванием профиля информации о глубине, который удовлетворяет некоторые ожидаемые правила, когда ссылается на конкретные контрольные точки, полученные из анализа формы, как показано на фиг. 8, на которой центральный столбец отображает приемлемый сбор информации с точки зрения сканирования вращающимся лидаром через расчетные позиции перекрестья и бедра, и профиль по глубине содержит ожидаемые пики, которые относятся к толщине окорока и лопатки. На этой линии множество сканирований вращающегося лидара может потребоваться для того, чтобы захватывать достаточно информации о глубине и форме, чтобы вычислять ориентацию животного или сложного объекта и размеры согласно известной информации о животном, человеке или сложных объектах.

Вышеприведенные объяснения также применяются, когда используются 3D-камера и сегментированное изображение. Например, тепловая камера и TOF-камера могут быть использованы для оценки ориентации тела и размеров животного. Тепловая камера может быть использована для формирования сегментированного изображения, которое обрабатывается согласно процессам, описанным выше. TOF-камера будет предоставлять информацию о глубине во множестве точек, но анализ формы сегментированного изображения будет предоставлять необходимый контекст тела, чтобы одобрять сбор информации. Аналогичным образом, TOF-камера предоставляет возможность выполнения множества линейных сканирований из единственного сбора информации, и это может значительно ускорять общее время сбора информации.

Фиг. 15 показывает взаимосвязь анализа формы и/или координат изображения с информацией о глубине, чтобы получать части тела или контрольные точки, например, перекрестье, начиная от окорока до хвоста, как показано на чертеже.

В варианте осуществления, предложенный способ дополнительно содержит расчет части трехмерной информации для относительной позиции блока получения изображения и живой особи, чтобы получать среднее значение, по меньшей мере, для одного угла (θ или ɸ) между блоком получения изображения и свиньей, см. фиг. 16, например, посредством вычисления арктангенса наклона линейной аппроксимации карты анализа профиля по глубине. Кроме того, степень изгиба или плоскостность формы свиньи также может быть получена. Плоскостность или изгиб может быть рассчитан посредством распространения подхода, показанного на фиг. 9, в котором возможно подбирать линейную функцию для расчета угла ɸ. Однако, этот принцип может быть распространен на любую форму, например, посредством многочлена второго или третьего порядка. Скорректированный возведенный в квадрат коэффициент R может быть использован для оценки того, подходит ли квадратичная функция лучше линейной модели. Когда квадратичная функция более вероятно должна подходить, это означает, что животное является согнутым, и измерения необходимо повторить или правильно скорректировать. Иберийская свинья является очень мускулистым животным по сравнению с другими типами свиней, и, как правило, она сгибает свое тело и принимает защитную форму. Это должно часто приниматься во внимание для того, чтобы преодолевать этот источник ошибки в определении характеристик.

Высота блока получения изображения относительно пола или высота блока получения изображения относительно роста свиньи могут также быть получены. В первом случае, дополнительный телеметрический блок может также предоставлять дополнительное средство измерения расстояния для расчета относительной высоты, на которой блок получения изображения и телеметрический блок работают. Во втором случае, так как, по меньшей мере, одно расстояние измеряется посредством телеметрического блока, и сегментированное изображение непосредственно ассоциируется с показателем расстояния, является возможным рассчитывать рост животного. Общий рост животного может быть вычислен следующим образом: (1) вертикальная протяженность сегментированного контура, после того как ориентация была скорректирована, как описано выше; (2) вычисление числа пикселов преобразуется посредством взаимосвязывания расстояния и вертикального поля обзора или калибровки. Если вращающийся лидар конфигурируется, чтобы выполнять сканирование вертикально, или телеметрический блок предоставляет 2D-изображение расстояний, с помощью контрольных точек или частей тела будет возможно извлекать 3D-координаты и вычислять рост как расстояние между точками координат. Аналогичным образом, является возможным рассчитывать рост из контрольной точки или части тела, например, "hip-max", которая описана выше, до задней ступни, также описанной выше. Затем, множество пикселов может быть преобразовано согласно взаимосвязи поля обзора и расстояния, другому способу калибровки, от вертикально вращающегося лидара, или 2D-изображения расстояний в качестве координатных расстояний.

Даже угол оптической оси блока получения изображения относительно пола может быть получен.

В варианте осуществления предложенный способ также предоставляет возможность вычисления соотношений между различными частями тела или контрольными точками, чтобы получать анализ тела свиньи. Все контрольные точки или части тела могут быть использованы для построения упрощенного изображения свиньи, как показано на фиг. 6. Калибровка предоставляет возможность вычислять любую точку изображения в 3D-координатах в реальном пространстве, что предоставляет возможность непосредственного расчета ориентации и размеров по сложным объектам, животным и людям. Длина от головы до хвоста в качестве суммарной длины животного, длина от перекрестья до хвоста в качестве длины тела, длина от перекрестья до бедра в качестве короткой длины тела, длина от бедра до задней ступни в качестве длины окорока, длина от перекрестья до передней ступни в качестве длины передней ноги, середина между верхом тела и низом в качестве ширины животного. Фиг. 9 также показывает, как рассчитывать толщину окорока из карты анализа профиля глубины, которая является важным отличительным признаком иберийских окороков. Также корректировки, выполненные в позиционировании перекрестья, бедра или hip-max, предоставляют более достоверные или более интересующие показатели размера и ориентации. Также измерения площади и объема могут быть выполнены. Измерение площади окорока может быть осуществлено посредством сохранения лишь области сегментированного изображения позади точки бедра. Посредством добавления информации карты анализа профиля по глубине расчет объема окорока также может быть произведен. Аналогично, площадь тела и объем могут быть осуществлены посредством сохранения площади позади перекрестья в качестве контрольной точки.

Все контекстные данные, такие как угол ɸ сбора данных, минимальное, максимальное и среднее расстояние, различные размеры и взаимосвязь между различными размерами, такими как длины, площадь и объемы, могут быть использованы для формирования последовательности отличительных признаков свиньи.

В этом документе форма свиньи работает в качестве общего примера сложной формы. Другие животные типа крупного рогатого скота, цыплят, бройлеров, быков, коров, овец будут, в частности, соответствовать этому подходу, так как они являются сельскохозяйственными животными. Люди могут также быть смоделированы по этим ориентирам, а сложные объекты могут нуждаться в особых адаптациях, так как сложный объект является широким термином. Однако, объекты, следующие шаблону с четкими контрольными точками, которые не просто являются квадратными, треугольными или круглыми, могут быть непосредственно приспособлены для этого подхода, который объединяет анализ формы из сегментированного изображения и информацию о глубине, полученную телеметрическим средством (лидаром, вращающимся лидаром, сканирующим лидаром, TOF-камерами или любым устройством, предоставляющим 1D или 2D-последовательность расстояний), которое было правильно откалибровано.

Фиг. 17-20 показывают различные примеры в другом сельскохозяйственном животном, типа бойцовского быка или цыпленка бройлера. На этих чертежах показан аналогичный подход к построению карты тела или части карты тела. Например, фиг. 17A показывает, как анатомические контрольные точки используются для построения карты координат головы бойцовского быка для измерения расстояния рогов, важного отличительного признака для установления стоимости бойцовского быка. Карта анализа профиля по глубине может также быть использована для вычисления ориентации головы и вычисления точно такого расстояния, или даже длины рогов, как показано на фиг. 17B. Применение той же процедуры скелетизации показано на фиг. 19 для цыпленка бройлера. В некоторых случаях может быть важным точно измерять ширину бройлера, как показано на фиг. 20. Другие области деятельности могут требовать точного измерения по другой оси, как показано на фиг. 21, или даже сочетания информации обеих осей или 2D-поверхности.

Что касается фиг. 17A-17D, кончик рога быка может быть обнаружен в качестве верхней левой и верхней правой позиций на голове или выше рта. Средняя точка рта может быть обнаружена посредством цветового анализа или теплового анализа полученного изображения, так как рот имеет хорошо определенное отличие в цветном внешнем виде или температуре. Ноги могут также быть измерены (см. фиг. 17B) и обнаружены посредством анализа формы аналогично свиньям посредством привязки, согласно варианту осуществления, к точкам ветвления и конечным точкам в карте анализа формы. Хвост также может быть обнаружен аналогичным способом, как описано выше со свиньями, посредством подбора круглого преобразования Хафа или квадратичной функции.

Ориентация головы может быть рассчитана посредством анализа профиля по глубине способом, аналогичным свиньям, как описано выше.

Измерение расстояния между кончиками рогов может быть успешно вычислено, принимая во внимание ориентацию головы и корректируя искажение изображения, привносимое не только расстоянием (x, y), но также и глубиной. Дополнительная информация о суммарной длине рогов может быть вычислена, как показано на фиг. 18. Симметричные свойства головы могут быть использованы для определения местоположения конкретных контрольных точек или оси.

Бройлер или цыпленок может также быть приспособлен к предложенному способу. Например, фиг. 19 показывает бройлера (19A), его сегментированное изображение и контуры (19B) и скелетное представление с обнаружением точек ветвления и конечных точек, чтобы строить карту анализа формы (19C).

Центр тяжести и ось, перпендикулярная ориентации, могут быть использованы в качестве ориентира, чтобы получать профиль по глубине на короткой оси. Аналогично, голова и хвост, полученные из точек ветвления, могут быть использованы для идентификации длинной оси и получения информации профиля по глубине в другом направлении. Изображения сверху или использования TOF-камеры предоставляют возможность вычисления обоих профилей по глубине из одного и того же сбора данных. Кроме того, точки за пределами сегментированного изображения могут быть использованы для вычисления роста бройлера.

Примеры карты анализа профиля по глубине представлены в качестве линейных измерений, но TOF-камеры, захватывающие 2D-изображение, или накопление нескольких линий сканирования вращающегося лидара, которые анатомически сопоставляются с картой тела, предоставляют возможность выполнять другие вычисления типа подгонки к эллипсу. Линейные измерения являются более похожими измерениями при сравнении этого подхода с фактическим взятием измерительной ленты и измерением длины животного. Однако, этот способ не ограничивается линейными измерениями, и TOF-информация может быть использована для соответствующих поверхностей.

Также, анатомические точки могут дополнительно сопровождаться информацией изображения. Например, голова бройлеров является более теплой по сравнению с телом, и этот отличительный признак может быть использован для непосредственного определения местоположения головы. Аналогичным образом, голова обычно находится выше других частей тела, и это может использоваться телеметрией или позиционированием изображения.

Далее, различные примеры предложенного способа описываются подробно:

- Пример 1: средняя точка в качестве карты анализа формы из вида сбоку или косого вида

Тепловая камера, видео камера и лидар были откалиброваны. Таким образом, способ содержит этап a) получения изображения с помощью тепловой камеры и сегментации посредством пороговой температуры одной свиньи. Затем, этап b), способ содержит измерение с помощью вращающегося лидара расстояния до нескольких точек в полярных координатах (rho, phi) и связывание измерений лидара в полярных координатах с конкретными пиксельными позициями (x, y) в изображении. На этапе c1), центр тяжести свиньи вычисляется в качестве центра массы сегментированного изображения (x0,y0), как показано на фиг. 22A в качестве центральной точки. На этапе c2) способ находит точки локального минимума, максимума и изгиба, как показано на фиг. 7, 8, 9 и 10A, и вычисляет карту анализа глубины для хвостовой части, hip-max (локальный минимум расстояния), конца окорока (точка изгиба) и перекрестья (локальный минимум расстояния). Наконец, на этапе c3) способ проверяет, проходит ли какая-либо точка глубины рядом с центром тяжести, или находятся ли точки глубины, содержащиеся в сегментированном изображении, на расстоянии y0, например, |y-y0|<30. Если это так, анатомические точки, обнаруженные посредством карты анализа глубины, могут быть приняты как корректные.

- Пример 2: множество анатомических точек, обнаруживаемых посредством карты анализа формы из вида сбоку или косого вида

Тепловая камера, видео камера и лидар были откалиброваны. Способ содержит, этап a), получение изображения с помощью тепловой камеры и сегментацию посредством пороговой температуры одной свиньи. Затем, на этапе b), способ содержит измерение с помощью вращающегося лидара расстояния до нескольких точек в полярных координатах (rho, phi) и связывание измерений лидара в полярных координатах с конкретными пиксельными позициями (x, y) в изображении. На этапе c1) способ вычисляет среднюю точку сегментированного изображения посредством вычисления преобразования Хафа, чтобы определять местоположение хвостовой части. Если центр обнаруженного круга находится в диапазоне расстояний со средней точкой, дополнительно вычисляется скелет сегментированного изображения, как показано на фиг. 6, обнаруживаются точки ветвления и конечные точки. Точка ветвления рядом с хвостовой частью является аппроксимацией анатомической точки hip-max. Точка ветвления на другой стороне на аналогичной высоте средней точки или hip-max является лопаткой, точка ниже средней точки и рядом с хвостовой частью, самая нижняя конечная точка является ступней задней ноги, точка ниже средней точки и противоположно хвостовой части является ступней передней ноги (также ближайшая к позиции лопатки, чтобы отличать от головы, когда свинья обнюхивает землю). Это создает простую карту, как показано на фиг. 6C. Более сложные карты могут быть вычислены, как также показано на фиг. 11, 12, 13 и 14. На этапе c2) способ находит точки локального минимума, максимума и изгиба, как показано на фиг. 7, 8, 9 и 10A, и вычисляет карту анализа глубины для хвостовой части, hip-max (локальный минимум расстояния), конца окорока (точка изгиба) и перекрестья (локальный минимум расстояния). Наконец, на этапе c3) способ проверяет, действительно ли показатели лидара в сегментированном изображении близко пересекаются с лопаткой и hip-max из анализа формы, а также проверяет, находятся ли все анатомические точки, общие в обеих картах, поблизости или сдвинуты в ожидаемые позиции. Если эти условия являются истинными, анатомические точки, обнаруженные посредством карты анализа глубины, могут быть приняты как корректные.

- Пример 3: Тепловая и TOF камеры из косого вида

Тепловая и TOF-камера были откалиброваны. Способ содержит, этап a), получение изображения с помощью тепловой камеры и сегментацию посредством пороговой температуры одной свиньи. Затем, на этапе b), способ содержит измерение с помощью TOF-камеры расстояния до нескольких точек, вычисление позиций (rx, ry, rz) в реальном пространстве и связывание TOF-показателей с конкретными пиксельными позициями (x, y) в изображении. На этапе c1) затем способ вычисляет среднюю точку и ориентацию сегментированного изображения через преобразование Хафа, чтобы определять местоположение хвостовой части. Если центр обнаруженного круга находится в диапазоне расстояний со средней точкой, способ дополнительно вычисляет скелет сегментированного изображения, как показано на фиг. 6, обнаруживает точки ветвления и конечные точки. Точка ветвления рядом с хвостовой частью является аппроксимацией для анатомической точки hip-max. Точка ветвления на другой стороне на аналогичной высоте средней точки или hip-max является лопаткой, точка ниже средней точки и рядом с хвостовой частью, самая нижняя конечная точка является ступней задней ноги, точка ниже средней точки и противоположно хвостовой части является ступней передней ноги (также ближайшая к позиции лопатки, чтобы отличать от головы, когда свинья обнюхивает землю). Это создает простую карту, как показано на фиг. 6C. Более сложные карты могут быть вычислены, как также показано на фиг. 11, 12, 13 и 14. На этапе c2 способ затем извлекает профиль по глубине, захватывая линию TOF-изображения рядом со средней точкой и с ориентацией, аналогичной анализу формы, или выполняет 2D-анализ профиля по глубине в поверхности сегментированного изображения, другими словами, анализирует точки (rx, ry, rz), содержащиеся в сегментированном изображении. Далее, способ находит точки локального минимума, максимума и изгиба, как показано на фиг. 7, 8, 9 и 10A, и вычисляет карту анализа глубины для хвостовой части, hip-max (локальный минимум расстояния), конца окорока (точка изгиба) и перекрестья (локальный минимум расстояния). Также является возможным подгонять животное к шаблону поверхности и определять местоположение различных анатомических точек. Наконец, на этапе c3) способ проверяет, все ли анатомические точки, общие в обеих картах, находятся поблизости или сдвинуты в ожидаемые позиции. Если эти условия являются истинными, анатомические точки, обнаруженные посредством карты анализа глубины, могут быть приняты как корректные.

- Пример 4: Тепловая и TOF-камера из вида с воздуха и косого вида

Тепловая и TOF-камера калибруются. Способ содержит, этап a), получение изображения с помощью тепловой камеры и сегментацию посредством пороговой температуры одной свиньи. Затем, на этапе b), способ содержит измерение с помощью TOF-камеры расстояния до нескольких точек, вычисление позиций (rx, ry, rz) в реальном пространстве и связывание TOF-показателей с конкретными пиксельными позициями (x, y) в изображении. На этапе c1) способ выполняет анализ формы с помощью преобразования Хафа, чтобы обнаруживать лопатки и хвостовую часть. Хвостовая часть отличается от лопатки во множестве форм, например, площадь позади лопаток (головы) гораздо больше по сравнению с хвостовой частью (только хвост). Альтернативно, анализ контура предоставляет возможность непосредственного обнаружения хвостовой части, так как уклон хвостовой части гораздо больше по сравнению с головой, как показано на фиг. 23 в способе 2. Сканирование изображения от центра лопаток до центра хвостовой части предоставляет возможность определять спинной хребет. Карта анализа формы составляется, например, по позиции лопаток, головы и точек спинного хребта, как показано на фиг. 23 способ 1, и может быть дополнительно распространена на способ 2, если требуется, с дополнительными анатомическими точками. На этапе c2) способ вычисляет высоту анатомических точек. Наконец, на этапе c3), способ проверяет, находятся ли все анатомические точки из карты анализа формы на правильной высоте или выше порогового значения.

- Пример 5: TOF-камера из вида с воздуха и косого вида

TOF-камера калибруется. Способ содержит, этап a), получение изображения с помощью TOF-камеры и сегментацию по пороговому расстоянию по сравнению с фоном. Затем способ, этап b), содержит измерение с помощью TOF-камеры расстояния до нескольких точек, вычисление позиций (rx, ry, rz) в реальном пространстве и связывание TOF-показателей с конкретными пиксельными позициями (x, y) в изображении. Этап c1 в этом случае является эквивалентным примеру 4. На этапе c2) карта анализа глубины гарантирует, что вся сегментированная область находится выше заданной высоты от пола. Наконец, на этапе c3), если все точки анализа формы найдены, это означает, что они находятся на правильном расстоянии, так как это является предварительно необходимым условием сегментации (этап a). Дополнительно, возможно включать другие вычисления типа вычисления кривой из точек rx, ry, rz спинного хребта и давать некоторый допуск для такой кривой.

- Пример 6: сочетание TOF и тепловых изображений для дополнительных признаков (для карты тела). Если TOF и тепловая камера являются откалиброванными, дополнительное вычисление тепловых признаков в различных частях тела может быть вычислено, как показано на фиг. 24.

Устройство также предоставляется для дистанционного определения характеристик живых особей. Устройство, главным образом, содержит упомянутый блок получения изображения, средство сегментирования, упомянутый телеметрический блок и средство обработки для обработки различной описанной информации/данных, чтобы предоставлять возможность определения характеристик живой особи или сложного объекта. Устройство может дополнительно включать в себя память для хранения различных показателей измерений или обработанной информации.

Предложенное изобретение может быть реализовано в аппаратных средствах, программном обеспечении, микропрограммном обеспечении или любом их сочетании. Если реализованы в программном обеспечении, функции могут быть сохранены или закодированы как одна или более инструкций или код на компьютерно-читаемом носителе.

Компьютерно-читаемые носители включают в себя компьютерные носители хранения информации. Носителями хранения могут быть любые доступные носители, к которым можно осуществлять доступ посредством компьютера. В качестве примера, а не ограничения, эти машиночитаемые носители могут содержать RAM, ROM, EEPROM, CD-ROM или другое запоминающее устройство на оптических дисках, запоминающее устройство на магнитных дисках или другие магнитные запоминающие устройства, либо любой другой носитель, который может быть использован, чтобы переносить или сохранять требуемый программный код в форме инструкций или структур данных, к которым можно осуществлять доступ посредством компьютера. Диск (disk) и диск (disc) при использовании в данном документе включают в себя компакт-диск (CD), лазерный диск, оптический диск, универсальный цифровой диск (DVD), гибкий диск и диск Blu-Ray, при этом диски (disk) обычно воспроизводят данные магнитно, тогда как диски (disc) воспроизводят данные оптически с помощью лазеров. Комбинации вышеперечисленного также следует включать в число машиночитаемых носителей. Любой процессор и носитель хранения данных могут постоянно размещаться в ASIC. ASIC может постоянно размещаться в пользовательском терминале. В альтернативном варианте процессор и носитель хранения данных могут постоянно размещаться как дискретные компоненты в пользовательском терминале.

Когда используются в данном документе, компьютерные программные продукты, содержащие компьютерно-читаемые носители, включающие в себя все формы компьютерно-читаемого носителя за исключением, до такой степени, что такие носители считаются необоснованными, временно распространяющихся сигналов.

Рамки настоящего изобретения определяются в последующей формуле изобретения.

Изобретение относится к области автоматизированных измерений, в частности к способу и устройству для определения характеристик живых особей, таких как сельскохозяйственные животные, на расстоянии. Техническим результатом является обеспечение быстрых и автоматизированных измерений для получения достоверных и точных параметров ориентации и/или позы животных, свободно перемещающихся в естественной среде. Технический результат достигается при осуществлении способа, содержащего получение изображения живой особи и сегментацию изображения; измерение расстояния до нескольких частей упомянутого изображения, предоставляющего несколько показателей расстояния; определение характеристик формы живой особи, характеристик глубины живой особи в показателях расстояния, содержащихся в сегментированном изображении; и сравнение карты анализа формы и карты анализа профиля по глубине. Если результат упомянутого сравнения содержится внутри заданного диапазона, параметры живой особи дополнительно определяются, включающие в себя параметры позы и/или местоположение или корректировку упомянутых анатомических контрольных точек и/или параметры размера тела, и/или представляется карта тела живой особи. 2 н. и 13 з.п. ф-лы, 46 ил.

1. Способ для определения характеристик живых особей на расстоянии, способ содержит этапы, на которых:

a) получают одно изображение по меньшей мере одной живой особи через блок получения изображения и дополнительно сегментируют полученное изображение посредством блока обработки, предоставляющего сегментированное изображение;

b) измеряют, посредством телеметрического блока, расстояние до нескольких частей упомянутого полученного изображения, предоставляют несколько показателей измерения расстояния и выбирают подмножество таких показателей измерения расстояния, содержащихся в сегментированном изображении живой особи,

при этом упомянутый блок получения изображения и упомянутый телеметрический блок калибруются;

c) обрабатывают, посредством блока обработки, сегментированное изображение и упомянутые несколько показателей измерения расстояния, ссылающихся на различные позиции, содержащиеся в сегментированном изображении, посредством:

c1) определения характеристики формы живой особи посредством реализации алгоритма, по меньшей мере вычисляющего в сегментированном изображении одно или более из следующего:

- центр тяжести живой особи, и/или

- ориентацию живой особи в сегментированном изображении относительно контрольной точки, и/или

- конкретную часть тела живой особи посредством определения местоположения анатомических контрольных точек живой особи в сегментированном изображении,

результат упомянутого определения характеристик формы предоставляет карту анализа формы; и

c2) определения характеристик глубины живой особи посредством реализации алгоритма, по меньшей мере вычисляющего в показателях измерения расстояния, содержащихся в сегментированном изображении:

- конкретную часть тела живой особи посредством определения местоположения анатомических контрольных точек живой особи в показателях измерения расстояния,

результат определения характеристик глубины предоставляет по меньшей мере одну карту анализа профиля глубины; и

c3) сравнения карты анализа формы и карты анализа профиля по глубине, при этом:

- если результат упомянутого сравнения содержится внутри заданного диапазона, способ дополнительно содержит определение параметров живой особи, включающих в себя параметры позы и/или местоположение или корректировку упомянутых анатомических контрольных точек и/или параметры размера тела и/или представление карты тела живой особи;

- если результат упомянутого сравнения содержится за пределами упомянутого заданного диапазона, способ дополнительно содержит повтор этапов a)-c), получающих новую карту анализа профиля по глубине и новую карту анализа формы; и

при этом этапы a) и b) выполняются в любое время.

2. Способ по п. 1, при этом этап a) содержит получение нескольких изображений упомянутой живой особи в различные периоды времени, захватывающих различные позы живой особи, и для каждого полученного изображения получение последовательности показателей измерения расстояния.

3. Способ по любому из предыдущих пунктов, дополнительно содержащий этап, на котором рассчитывают часть трехмерной информации для относительной позиции блока получения изображения и живой особи, чтобы получать по меньшей мере два следующих параметра: среднее значение по меньшей мере одного угла между блоком получения изображения и живой особью, степень изгиба или плоскостность формы живой особи, высота блока получения изображения относительно пола или высота блока получения изображения относительно роста живой особи и/или угол оптической оси блока получения изображения относительно пола.

4. Способ по п. 1, при этом ориентация живой особи вычисляется посредством подгонки сегментированного изображения в эллипс посредством функции подбора методом наименьших квадратов, гауссовой модели, анализа главных компонентов, прямоугольника минимальной площади или преобразования Хафа.

5. Способ по п. 1, при этом часть тела из карты анализа формы вычисляется посредством:

- кругового преобразования Хафа, которое вычисляет радиус окорока или ляжки в сегментированном изображении; или

- полиномиальной функции второго порядка, которая обнаруживает хвостовую часть живой особи в сегментированном изображении посредством подбора параболы вокруг центра тяжести и оси ориентации.

6. Способ по п. 1 или 5, при этом часть тела из карты анализа формы дополнительно вычисляется посредством:

- вычисления контура живой особи в сегментированном изображении, кодирования вычисленного контура в полярных координатах и дальнейшего применения функции преобразования Фурье к упомянутым полярным координатам, предоставляющей несколько коэффициентов Фурье, модули которых являются вращательно инвариантными, и аргумент которых содержит информацию о вращении; и/или

- вычисления контура живой особи и дополнительного вычисления метрик расстояния в упомянутом вычисленном контуре на основе метрики расстояния, включающей в себя евклидову, геодезическую или метрику городских кварталов; и/или

- вычисления преобразования расстояния для сегментированного изображения; и/или

- вычисления контура живой особи посредством вычисления функции скелетизации из сегментированного изображения, предоставляющей изображение скелета живой особи, и необязательно дополнительного вычисления точек ветвления и конечных точек в упомянутом скелете, чтобы рассчитывать анатомические позиции различных частей тела; и/или

- вычисления моментов изображения для сегментированного изображения.

7. Способ по п. 2, дополнительно содержащий этапы, на которых:

- получают последовательность спаренных карт анализа профиля по глубине и карт анализа формы путем объединения информации, полученной для каждого сбора информации;

- назначают оценку каждой паре карт; и

- выбирают пару карт, имеющих наивысшую оценку.

8. Способ по п. 2, дополнительно содержащий этап, на котором:

- получают последовательность спаренных карт анализа профиля по глубине и карт анализа формы путем объединения информации, полученной для каждого сбора информации;

- назначают оценку каждой паре карт; и

- сопоставляют анатомические контрольные точки во всех сборах информации и накапливают различные части карт анализа профилей по глубине и анатомические контрольные точки, чтобы вычислять трехмерную реконструкцию живой особи, или

- вычисляют карту тела для каждого сбора информации и накапливают всю информацию для каждой карты тела, и выставляют оценку в расширенную карту тела.

9. Способ по п. 1, при этом карта тела живой особи представляется, карта тела дополнительно используется, чтобы вычислять характеристики карты тела на основе отличительных признаков блока получения изображения, включающих в себя цвет и/или температуру, и/или чтобы вычислять дополнительные характеристики, измеряемые посредством дополнительного устройства, предварительно откалиброванного.

10. Способ по п. 1, при этом полученное изображение на этапе a) включает в себя две или более живых особей, и способ содержит этапы, на которых вычисляют и сравнивают карту анализа формы и карту анализа профиля по глубине для каждой живой особи, включенной в изображение, таким образом, оценивая две или более живых особей в одном и том же сборе информации.

11. Способ по пп. 1, 8 или 9, при этом карта тела является 3D-представлением живой особи.

12. Способ по п. 1, при этом живая особь является сельскохозяйственным животным, включающим в себя свинью, быка, корову, овцу, бройлера, утку или цыпленка.

13. Устройство для определения характеристик живых особей на расстоянии, содержащее:

- блок получения информации, сконфигурированный, чтобы получать по меньшей мере одно изображение по меньшей мере одной живой особи;

- первый блок обработки, сконфигурированный, чтобы сегментировать полученное изображение, предоставляющий сегментированное изображение;

- телеметрический блок, сконфигурированный, чтобы измерять расстояние до нескольких частей упомянутого полученного изображения, предоставляющий несколько показателей измерения расстояния, и чтобы измерять подмножество таких показателей измерения расстояния, содержащихся в сегментированном изображении живой особи,

при этом упомянутый блок получения изображения и упомянутый телеметрический блок калибруются;

- второй блок обработки, сконфигурированный, чтобы обрабатывать сегментированное изображение и упомянутые несколько показателей измерения расстояния, ссылающихся на различные позиции, содержащиеся в сегментированном изображении, посредством выполнения этапа c) по п. 1.

14. Устройство по п. 13, при этом система получения изображения содержит RGB-камеру с расширенной NIR в красном канале и/или тепловую камеру.

15. Устройство по п. 13 или 14, при этом телеметрический блок содержит вращающийся лидар, сканирующий лидар, множество лидаров, времяпролетный, TOF, датчик или TOF-камеру.