ВЫЯВЛЕНИЕ РАСПОЛОЖЕНИЯ И МЕСТОПОЛОЖЕНИЯ ОБЪЕКТОВ Российский патент 2017 года по МПК G01S17/89 

Изобретение относится к способу для выявления расположения и местоположения объектов, в частности невзаимодействующих объектов.

Проблема беспилотного космического путешествия состоит в техническом обслуживании, ремонте и размещении космических аппаратов и спутников, которые находятся в использовании, постольку, поскольку это еще не было подготовлено в ходе планирования полета для операций этого типа. Точное измерение относительного расположения и местоположения такого целевого объекта является необходимым, для того чтобы было возможно осуществлять эти операции таким образом, чтобы можно было осуществлять приближение и возможную фиксацию этого целевого объекта контролируемым образом. Это верно, в частности, для целевых объектов, которые являются невзаимодействующими в том смысле, что они не адаптированы для этой задачи, то есть, иными словами, в частности, они также не предоставляют никаких искусственных маркеров для поддержания задачи навигации, а также не являются управляемыми по местоположению.

В этой связи, существуют способы, основанные на съемке камерой, которые представляют собой уже известную попытку реконструировать фиксируемый объект, исходя из его профиля очертаний, в виде изображений камеры или еще в виде глубинных изображений. Поскольку в данном процессе это в основном касается способов, основанных на получении трехмерных данных, эти известные способы часто затрагивают трехмерные точечные облака, поскольку они обычно генерируются трехкоординатными датчиками. Возможные технологии трехкоординатного датчика представляют собой технологии лазерных датчиков измерения аберрационного времени, которые быстро отклоняют лазерный луч по месту действия и в ходе процесса сканируют трехмерную структуру этого места действия. В дополнение к тем датчикам, которые были названы LIDAR (light detection and ranging, световое обнаружение и измерение дальности), существуют и другие типы датчиков, которые порождают трехмерные измерения, такие как, например, PMD-камеры (photon-mixing-device, фотонные смесительные устройства), системы на основе стереокамер, датчики проецирования световых полос или аналогичные. В данном случае, для известных датчиков является общим, что они сканируют свое окружение и, таким образом, реконструируют трехмерное изображение своего окружения.

Системы, которые используют эту информацию для определения расположения и местоположения объекта, по большей части прибегают к пространственной структуре целевого тела в качестве существенного признака целевого объекта и его расположения и местоположения. Наиболее отличительные признаки различных приближений существуют в системах, анализирующих данные, и в способах, исполняемых на их основе. Подробный отчет о применяемых способах распознавания объекта и определения положения на основании трехмерных данных можно найти, например, в книге-статье «Dreidimensionales Computersehen, Gewinnung und Analyse von Tiefenbildern» [Трехмерное компьютерное зрение, получение и анализ глубинных изображений], X. Jiang und H. Bunke, Springer Verlag, Berlin, Heidelberg, New York, 1997. Таким образом, способы, описанные в этой статье, основаны на том факте, что исходная сегментация трехмерного точечного облака преобразуется в более символическое описание. Это может происходить, например, на тех фрагментах плоской поверхности, которые адаптированы для трехмерных точек, и данные датчика, таким образом, преобразуются в набор элементов поверхности, что хорошо функционирует, в частности, в случае объектов, составленных из сегментов поверхности. Для поверхностей произвольной формы сегментация должна быть сконфигурирована в соответствующей более сложной форме. Однако такое использование сегментации в качестве этапа предварительной обработки перед определением фактического расположения и местоположения имеет недостаток, состоящий в том, что для надлежащей сегментации требуется высокая плотность данных, и допускаются только слабые помехи при измерении.

Поэтому также были предложены еще и альтернативные подходы для способа, которые обходятся без создания символической описательной формы из таких полученных данных. Таким образом, например, в так называемой трехмерной технологии LASSO в качестве этапа инициализации определения расположения и местоположения используют очень тонко заполненное трехмерное точечное облако и применяют подход, называемый способом хеширования сети полигонометрических пунктов, для получения исходной оценки расположения и местоположения объекта посредством сопоставления с моделью целевого объекта. В качестве альтернативы, стала известна последовательность вероятностных приближений, которая также может быть использована для оценки расположения и местоположения известных объектов. В этих известных приближениях гипотеза о трехмерном расположении и местоположении оценивается с точки зрения ее вероятности с помощью эффективных представлений вокселов трехмерного объекта. С помощью этого механизма оценки могут быть использованы классические фильтры частиц для определения наиболее вероятного расположения и местоположения на основании наблюдаемого трехмерного точечного облака.

Все эти известные способы используют для оценки исходного расположения и местоположения объекта, которая является достаточно точной, чтобы она была пригодной для инициализации последующего процесса отслеживания расположения и местоположения. В литературе это отслеживание расположения и местоположения очень часто осуществляют с помощью алгоритма, называемого ICP (iterative closest point, итерационная самая ближайшая точка). Этот алгоритм также кодирует модель объекта в качестве точечного облака и определяет, начиная с исходной оценки расположения и местоположения, в каждом случае ближайших соседей обоих трехмерных точечных облаков, и указанным образом получает перечень соответствующих пар пространственных точек. Матрицу преобразований, которая приводит два точечных облака ближе друг к другу, затем устанавливают, исходя из них, с помощью метода наименьших квадратов. После нескольких итераций, два точечных облака оптимально приводят к согласованию таким образом, чтобы исходная стартовая позиция находилась достаточно близко к фактическому решению. Цепь индивидуальных преобразований в ходе процесса итерации затем дает искомое расположение и местоположение. В дополнение, существуют еще варианты, такие как, например, представление модели в виде модели поверхности, с последующим сопоставлением трехмерных точек с ближайшими, на расстоянии определенного шага, точками на модели поверхности.

Задачей изобретения является проектирование способа типа, упомянутого в начале, таким образом, чтобы для целевого объекта, свободно блуждающего в пространстве, например, спутника, расположение и местоположение объекта, про которое предполагается, что оно само по себе известно, могло бы быть установлено с помощью датчика, который получает комплект данных о трехмерных точках, распределенных по полю зрения достаточного размера.

Изобретение решает эту задачу посредством способа для выявления расположения и местоположения объектов с помощью трехкоординатного датчика и способа анализа, адаптированного для него, причем способ разбит на получение трехмерных данных, оценку исходного расположения и местоположения, а также последующее отслеживание целевого объекта.

В этом случае, способ согласно изобретению решает задачу навигации, поскольку возникает в ходе реализации приближения или стыковки между двумя космическими аппаратами. Основная его идея состоит в использовании пространственной структуры целевого объекта как единого целого, в качестве основного признака, который дает информацию о расположении и местоположении целевого объекта. В этом случае, можно обойтись без осуществления сегментации или выделения характерных признаков из данных датчика, которое преобразует исходные данные в символическую описательную форму. Вместо этого, способ согласно изобретению переходит к подходу, который основан исключительно на данных, близких к сигналу, и в результате не устанавливает, в частности, высоких требований по плотности данных и качеству данных, т.е. по минимизации помех при измерении. Согласно изобретению решение разбивается на стадию инициализации и последующую стадию отслеживания. Согласно изобретению для выполнения стадии отслеживания, приходится обратиться к ранее существовавшей технологии, тогда как в способе согласно изобретению выбирают простой, но надежный подход для инициализации приблизительного определения расположения и местоположения целевого объекта, без наличия предварительных сведений о расположении и местоположении, и данный подход основан на сопоставлении с эталоном обработки двухмерного изображения, которая известна сама по себе и которая, благодаря использованию глубинных изображений, генерированных из трехмерных точечных облаков, снижает область поиска по трем направлениям.

В данном случае, способ согласно изобретению для оценки расположения и местоположения целевого объекта обладает многочисленными преимуществами, сопоставимыми с уже известными способами. Из-за близости предлагаемого способа к исходным данным, без требования какой-либо сегментации трехмерных данных, получается очень надежный подход, который не устанавливает высоких требований по качеству данных, т.е. по плотности точек и помехам при измерении. Таким образом, способ согласно изобретению обладает преимуществом по сравнению с иными предложенными способами в том, что для него не требуется специальная форма точечного распределения. Основное отличие от уже известных способов, в этом случае, состоит в порядке, согласно которому происходит исходная оценка местоположения и расположения объекта. Для этой цели, для специального случая трехмерных точечных облаков применили существующие принципы и способ обработки двухмерного изображения, который ориентирован на сопоставление с эталоном обработки двухмерного изображения. Благодаря наличию трехмерных данных в способе согласно изобретению, трансляционная инвариантность и масштабная инвариантность могут быть, тем не менее, реализованы в большей возможной степени. Согласно изобретению имеет место лишь поиск возможных ориентаций, в которых многие гипотезы могут быть уже исключены посредством очень простого критерия, т.е. размера кубоида.

Отслеживание целевого объекта происходит после инициализации или при распознании расположения и местоположения из этапа отслеживания, который уже был проведен с помощью способа ICP, который известен как таковой, или одного из его вариантов. В результате, база данных моделей состоит из набора геометрических элементов, которые могут быть использованы для алгоритма ICP, например, из набора трехмерных точек, пространственных прямолинейных сегментов или пространственных поверхностных сегментов, таких как, например, треугольники. Эти данные выводят из представления CAD целевого объекта и, если это подходит, оптимизируют и адаптируют, с точки зрения достигаемого уровня точности детали и подходящего расчета функциональных возможностей.

Поэтому, тогда как отслеживание объекта, с использованием варианта ICP по существу соответствует текущим способам, следующие специальные условия применяют для способа оценки расположения и местоположения:

1. Объект известен и может быть сохранен в качестве модели.

2. В случае, в частности, использования космоса, но также в случае использования подводного робототехнического оборудования, объект является единичным в поле наблюдения датчика, без фоновых объектов, присутствующих в трехмерных данных в то же самое время.

3. Датчик отправляет трехмерные данные объекта, которые содержат, в частности, пространственное расстояние от объекта.

Эти три свойства используют для способа согласно изобретению, которое было разработано, исходя из стандартного подхода для обработки двухмерного изображения, и которое называется трехмерным сопоставлением с эталоном. При обработке двухмерного изображения, сопоставлением с эталоном называется способ, который выявляет прямоугольный фрагмент изображения, окно поиска или шаблон в более крупном изображении. Другие способы представляют собой сумму квадратов разности, что известно как способ блочного сопоставления или способ SSD, или еще расчет нормализованной взаимной корреляции. Большой проблемой сопоставления с эталоном при обработке двухмерного изображения является чувствительность по отношению к изменениям в освещении, т.е. недостаток неизменности освещения, а также недостаток неизменности развертки и масштабирования. Таким образом, использование сопоставления с эталоном для двухмерных изображений, полученных камерой, оказалось практически выгодным, поскольку область поиска может стать слишком большой и, в то же время, недостаток неизменности освещения может не привести к получению надежного способа.

Однако, при условии признаков способа согласно изобретению, датчик, обеспеченный согласно изобретению, отправляет данные о трехмерных точечных облаках, которые не зависят от условий внешнего освещения и которые представляют собой изображение полного или частичного пространственного представления целевого объекта. Недостаток масштабной инвариантности при обработке двухмерного изображения может быть скомпенсирован, в частности, знанием пространственной глубины до объекта, вследствие чего область поиска для подхода на основании зрения, такого как сопоставление с эталоном, может быть резко снижена, по сравнению с двухмерным случаем, и в результате приводит к простому, очень надежному подходу, который является простым и быстрым для реализации.

Из уровня техники можно упомянуть следующие документы: DE 60 023 447 T2, имеющий дело с выявлением расположения и местоположения поверхности и в котором в процессе использованы признаки, которые ранее были выведены из известных данных, что не является случаем, представленным в способе согласно изобретению. DE 10 2011 100 927 A1 имеет дело с оценкой расположения и местоположения транспортного средства, исходя из лазерных измерений расстояния. Хотя здесь для получения данных о трехмерных точечных облаках используется принцип измерения, сходный с принципом измерения, используемым в способе согласно изобретению, основное отличие состоит в том, что в этом известном способе приходится определять только три - шесть степеней свободы, поскольку транспортные средства движутся только в одной плоскости. DE 10 2011 075 335 A1 аналогично предлагает компьютерный способ для определения расположения и местоположения объекта.

Однако это происходит путем использования изображений, полученных камерой, и извлечения признаков, характерных для этих изображений, полученных камерой, которые сравнивают с признаками из базы данных.

DE 10 2008 019 795 A1 содержит способ для адаптации модели объекта для трехмерного точечного облака. В отличие от способа согласно изобретению, в этом известном способе использован стереоспособ для реконструирования данных по глубине, и в ходе попыток, - для предотвращения или снижения погрешностей в стереореконструкции. Кроме того, используют кластерные технологии, которые не используют в способе согласно изобретению. Кроме того, в DE 10 2006 036 346 B4 описан способ для автоматического распознавания трехмерного объекта и определения местоположения, который основан на предположении, что целевой объект состоит из различных регулярных геометрических тел, таких как, например, кубоиды или цилиндры. Наконец, в DE 10 2006 036 345 A1 описан способ, который исходит из сходных предположений, а также DE 69 705 052 T2, нацеленный на содействие навигации между двумя движущимися телами, который базируется на способе, основанном на времени прохождения сигнала.

Способ согласно изобретению более подробно разъяснен в дальнейшем, исходя из чертежа. На Фигурах

Фиг. 1 показывает принципиальную структуру системы для оценки расположения и местоположения на основе LIDAR,

Фиг. 2 показывает способ действия системы для оценки расположения и местоположения на основе LIDAR,

Фиг. 3 показывает угловые точки полиэдра, которые указывают направления наблюдения для расчета расстояния до опорных видов; на Фигуре проиллюстрированы два различных разрешения,

Фиг. 4 показывает принцип сравнения текущего вида с опорными видами,

Фиг. 5 показывает принцип сравнения с опорным видом в случае частичного представления объекта,

Фиг. 6A и 6B показывают погрешности в оценке расположения и местоположения для спутника, вращающегося при скорости приблизительно 4°/с вокруг продольной оси,

Фиг. 7 показывает адаптацию точек трехмерного точечного облака для модели поверхности целевого объекта после применения трехмерного сопоставления с эталоном и указанием на ICP поверхности, и

Фиг. 8 показывает адаптацию трехмерного точечного облака для модели поверхности целевого объекта в случае большего расстояния от целевого объекта и завершенный вид.

Последовательность операций по оценке координат и местоположений с использованием способа согласно изобретению, проиллюстрированного на Фиг. 1, состоит в следующем.

Блок 1 анализа трехмерных данных принимает базу данных 5 моделей, которая содержит сведения о модели целевого объекта 2 в двух видах.

Трехкоординатный датчик 3 получает трехмерное точечное облако 4 целевого объекта 2, которое расположено внутри поля наблюдения датчика 3. Датчик 3 в этом случае может представлять собой любой желаемый трехкоординатный датчик, до тех пор, пока он определяет количество трехмерных точек, которые не обязательно должны быть расположены близко друг к другу, а скорее также могут иметь зазоры.

В способе для исходной оценки расположения и местоположения исходно осуществляют первую, приближенную оценку 6 расположения и местоположения целевого объекта 2 посредством сопоставления полученных указанным образом точек трехмерных данных и представления модели, причем данная оценка достигает точности приблизительно 10° по отношению к местоположению по всем трем пространственным углам, и она достигает точности приблизительно 3-5% от размеров объекта относительно положения целевого объекта 2.

Последующий способ для отслеживания оценки 7 расположения и местоположения использует результат предыдущей приближенной оценки 6 расположения и местоположения целевого объекта 2 и уточняет оценку 7 расположения и местоположения, при постоянном обновлении трехмерного точечного облака 4. Если при отслеживании объекта целевой объект 2 был в какой-то момент потерян, то исходная оценка 6 расположения и местоположения возобновляется.

База данных 5 моделей отображает сведения о целевом объекте 2 в удвоенной форме, таким образом, чтобы они были оптимально доступны для обеих стадий обработки, т.е. были приготовлены как для инициализации 6, так и для отслеживания 7 целевого объекта 2.

Трехкоординатный датчик 3 отправляет более или менее плотные трехмерные данные, в зависимости от системы координат датчика. Это трехмерное точечное облако 4 может быть преобразовано с получением глубинного изображения, в котором каждый пиксель принимает значение насыщенности серого (значение градации серых тонов), которое соответствует глубине в пределах кубоида, окружающего объект. Пространственный фокус всех трехмерных данных идентифицируется с использованием центра кубоида, вследствие чего без пространственного поиска, как и, например, в случае двухмерного сопоставления с эталоном, можно обойтись, в случае завершенного вида. Преобразование трехмерных данных в эталонное изображение, т.е. в текущее вид эталонного объекта 2, проиллюстрировано на Фиг. 2, и оно соответствует ортогональной проекции измерений датчика с кодированием градаций серых тонов информации о глубине для каждого пикселя.

Для каждого направления наблюдения в полиэдре, вращение целевого объекта 2 вокруг линия визирования сканируется с определенным угловым разрешением, вследствие чего для каждого из этих опорных видов создается эталонное изображение, как показано на Фиг. 2, и оно может быть сохранено в базе данных. Размер опорного эталонного изображения может, как правило, выглядеть очень маленьким, если целевой объект обладает адекватными геометрическими структурами.

В ходе испытания способа, объект с размером приблизительно 2 метра был отображен с помощью опорных эталонных изображений с размером 30 x 30 пикселей. В дополнение к каждому опорному виду, смещение между исходной точкой целевого объекта 2, т.е. между системой координат тела, и фокусом, который был определен, сохраняется, и это смещение сдвигается в центр кубоида для ортогональной проекции. Принимая это во внимание, данное смещение дает возможность, в ходе поиска расположения, снова связать соответствующее найденное расположение со свойственной опорной системой целевого объекта 2. Аналогично, в кубоиде сохраняется эффективно используемая ширина, высота и глубина.

Благодаря ортогональной проекции, для которой необходимы только максимальные размеры объекта для задания размера кубоида и эталонного изображения, масштабная инвариантность может быть достигнута указанным образом. Путем нормализации вида к фокусу трехмерного точечного облака, инвариантность к расположению также достигается в случае завершенного вида объекта. Таким образом, три из шести искомых степеней свободы уже могут быть устранены. Остаются степени свободы, связанные с вращением, которые соответствуют расположению объекта. Эти степени свободы уже не могут быть разложены, если объект не обладает определенной симметрией. Способ согласно изобретению решает эту проблему в том, что различные виды, полученные с различных направлений наблюдения объекта в форме упомянутого эталонного изображения, сохраняются в базе данных 5 моделей с определенным угловым разрешением. Различные виды могут быть устранены для двух из трех степеней свободы вращения позиции единичного шара вокруг нулевой точки, причем линия соединения каждой точки с нулевой точкой задает линию визирования и, следовательно, две из трех степеней свободы вращения. Изображение согласно Фиг. 3 показывает это для двух различных угловых разрешений.

Фактическая оценка 7 расположения и местоположения происходит в том, что, как проиллюстрировано на Фиг. 4, текущий вид, полученный из принимаемых трехкоординатных данных датчика, сравнивается со всеми видами базы данных 5 моделей. В этом случае, этот схематический эскиз показывает только две из трех степеней свободы вращения. К эффективной ширине и высоте, используемым в пределах кубоида, обращаются как к первому критерию сравнения. Если для текущего вида требуется ширина или высота, большая, чем эталонное представление, то это не может быть искомым видом, и тогда предположение может быть отбраковано. Если размеры приблизительно подобраны, то оба эталонных изображения могут сравниваться посредством простого попиксельного сравнения, например, согласно критерию SSD. Если текущий вид будет меньше, чем опорное эталонное изображение, рассматриваемое в данный момент, то напротив, оно не может быть априори отброшено, и этот текущий вид также может представлять собой лишь частичный вид целевого объекта 2, например, согласно Фиг. 5. Напротив, опорные изображения из базы данных 5 всегда содержат завершенные виды объекта.

В этом случае, пространственная корреляция или расчет критерия SSD дополнительно необходим для всех смещенных точек в пределах опорного изображения, для которых текущий вид полностью встраивается в опорное изображение. Самая высокая корреляция или самое низкое значение SSD этого поиска дает значение сравнения для текущего вида с опорным изображением. Результаты затем нормализуют, вследствие чего абсолютный размер текущего вида не имеет никакого значения.

Наконец, на Фигурах 6-8 демонстрируется рабочий режим способа, осуществляемый, исходя из реальной тестовой структуры, в которой модель спутника была использована в роботизированной испытательной установке, которая моделирует приближение космических аппаратов. В этом случае, способ был протестирован с помощью трехкоординатного датчика LIDAR, для использования случая относительной навигации в приближении космического аппарата к известному вращающемуся и невзаимодействующему целевому спутнику. Для этой цели были пройдены многочисленные испытательные траектории для моделирования приближения к этим вращающимся спутникам, и измеренные данные трехкоординатного датчика LIDAR для оценки расположения и местоположения целевого объекта 2, созданные в ходе реализации этого приближения, были сопоставлены с опорными измерениями в испытательной установке. Концепция системы была протестирована с помощью трехкоординатного датчика LIDAR, который имеет разрешенный диапазон приблизительно при 3 Гц и синусоидальную развертку приблизительно с 40 линиями и 150 точками замера на линию.

Предложенный подход больше всего походит на подход «3D LASSO», упомянутый в начале. Сравнения производительности между трехмерным сопоставлением с эталоном и трехмерным способом LASSO смогли показать четкое повышение точности. Фиг. 6 показывает точности, достигаемые с помощью подхода согласно изобретению для спутника с размером приблизительно 2 м, в частности, проиллюстрированные на Фиг. 6a в качестве средней погрешности в определении положения в метрах и на Фиг. 6b в качестве средней угловой погрешности в угловых градусах.

Фиг. 7 показывает адаптацию трехмерного точечного облака для модели поверхности целевого объекта 2 согласно использованию трехмерного сопоставления с эталоном и указания на ICP поверхности. Целевой объект 2 в данном случае расположен близко к датчику, вследствие чего получается только частичный вид. Наконец, Фиг. 8 показывает адаптацию трехмерного точечного облака для модели поверхности целевого объекта 2 при большем расстоянии от целевого объекта 2 и в случае завершенного вида.

Заявленное изобретение относится к способу для выявления расположения и местоположения объектов, в частности объектов, не являющихся управляемыми по местоположению. Заявленный способ для выявления расположения и местоположения объектов, в частности объектов, не являющихся управляемыми по местоположению, характеризуется тем, что трехкоординатный датчик отправляет данные о целевом объекте, которые сравнивают с данными о целевом объекте, хранящимися в базе данных моделей, и используют для исходной оценки расположения и местоположения и последующей более точной оценки расположения и местоположения целевого объекта. Причем различные виды с различных направлений наблюдения объекта в форме упомянутого эталонного изображения сохраняются в базе данных моделей с определенным угловым разрешением, а текущий вид, полученный из принимаемых трехкоординатных данных датчика, сравнивается со всеми видами базы данных моделей. При этом трехкоординатный датчик отправляет данные, относящиеся к системе координат датчика, в форме трехмерного точечного облака, которое преобразуется в глубинное изображение, в котором каждый пиксель принимает значение насыщенности серого, которое соответствует глубине в пределах кубоида, окружающего целевой объект. Датчик представляет собой трехкоординатный датчик LIDAR. Технический результат – повышение надежности и быстродействия определения исходной оценки расположения и местоположения. 2 з.п. ф-лы, 8 ил.

1. Способ для выявления расположения и местоположения объектов, в частности объектов, не являющихся управляемыми по местоположению, отличающийся тем, что трехкоординатный датчик (3) отправляет данные о целевом объекте (2), которые сравнивают с данными о целевом объекте (2), хранящимися в базе (5) данных моделей, и используют для исходной оценки (6) расположения и местоположения и последующей более точной оценки (7) расположения и местоположения целевого объекта (2), причем различные виды с различных направлений наблюдения объекта (2) в форме упомянутого эталонного изображения сохраняются в базе (5) данных моделей с определенным угловым разрешением, а текущий вид, полученный из принимаемых трехкоординатных данных датчика, сравнивается со всеми видами базы (5) данных моделей.

2. Способ по п. 1, отличающийся тем, что трехкоординатный датчик (3) отправляет данные, относящиеся к системе координат датчика, в форме трехмерного точечного облака (4), которое преобразуется в глубинное изображение, в котором каждый пиксель принимает значение насыщенности серого, которое соответствует глубине в пределах кубоида, окружающего целевой объект (2).

3. Способ по п. 1 или 2, отличающийся тем, что датчик (3) представляет собой трехкоординатный датчик LIDAR.