УСТРОЙСТВО РАСПОЗНАВАНИЯ ТРЕХМЕРНОГО ОБЪЕКТА И СПОСОБ РАСПОЗНАВАНИЯ ТРЕХМЕРНОГО ОБЪЕКТА Российский патент 2017 года по МПК G06T7/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству распознавания трехмерного объекта и к способу распознавания трехмерного объекта, для распознавания трехмерного объекта.

УРОВЕНЬ ТЕХНИКИ

За последние годы возрастающее количество космического мусора, который представляет собой искусственные объекты, отслужившие для своих целей и вращающиеся по спутниковым орбитам вокруг Земли, становятся вызовом в продвижении освоения космоса. Такой космический мусор представляет собой некооперируемые объекты, движение и угловая ориентация которых не контролируются, и может представлять собой выполнение движения со сложной угловой ориентацией, такое, как переворачивающееся движение. Когда уборочный спутник, сконфигурированный для уборки космического мусора, приближается к космическому мусору, уборочному спутнику необходимо знать точное местоположение и угловую ориентацию космического мусора.

Уборочному спутнику необходимо получать изображения космического мусора с помощью блока формирования изображений (фотокамеры) и принимать информацию о местоположении и информацию об угловой ориентации (здесь и далее называемой лишь все вместе информацией о состоянии), исходя из данных о некоторых частях космического мусора, которые можно наблюдать на полученных изображениях. В настоящей работе, информация о местоположении показывает относительное соотношение пространственных местоположений между космическим мусором и уборочным спутником, а информация об угловой ориентации указывает на относительное соотношение угловых ориентаций между ними. В качестве решения для информации о состоянии была предложена факторизация. В НПЛ 1 описана параперспективная модель в факторизации, а также описан метод взвешенной факторизации.

СПИСОК ЦИТИРУЕМОЙ ЛИТЕРАТУРЫ

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

[НПЛ 1] «А Paraperspective Factorization Method for Shape и Motion Recovery», IEEE TRANSACTIONS ON PATTERN ANALYSIS и MACHINE INTELLIGENCE, Vol. 19, No. 3, March 1997, p 206-218.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Когда уборочный спутник выполняет облет для выхода на орбиту вокруг космического мусора, достаточного количества характерных точек невозможно получить из взятых изображений, иногда в зависимости от угловой ориентации космического мусора. Например, когда космический мусор обладает определенным относительным соотношением пространственных местоположений с уборочным спутником и Солнцем или обладает определенной угловой ориентацией, область, облучаемая солнечным светом на поверхности космического мусора, достаточно мала, тогда как теневая область велика. Поэтому становится невозможным получить достаточное количество характерных точек и корректно выполнить сопоставление образов между телом космического мусора и моделью трехмерной формы, соответствующей космическому мусору.

Космический мусор движется с изменением своей угловой ориентации. Следовательно, движение характерных точек при сопряжении невозможно разложить на движение и изменение угловой ориентации космического мусора с использованием лишь технологии согласно НПЛ 1, что, таким образом, иногда вызывает расхождение с реальным движением.

Более того, при сопоставлении образов для космического мусора, целевая область сопоставления образов достаточно велика. Более того, поверхность космического мусора обладает простой структурой и включает в себя много участков, имеющих сходные структуры изображения. Поэтому сопоставление образов иногда оказывается неудачным. Следовательно, исходно одинаковые характерные точки в некоторых случаях могут быть определены как разные характерные точки, или разные характерные точки могут быть определены как одинаковые характерные точки.

В случае использования результата такого сопряжения для создания модели трехмерной формы (обновления или добавления точек, указывающих на форму модели), как только характерные точки обновляются, исходя из ошибочной информации, происходит выполнение некорректного сопряжения, исходя из ошибочной информации, что, таким образом, влияет на конечный результат сопряжения.

В свете вышеупомянутых проблем, задачей настоящего изобретения является обеспечение устройства распознавания трехмерного объекта и способа распознавания трехмерного объекта, который может повысить точность сопряжения между собой трехмерного объекта и модели трехмерной формы и вывести с высокой точностью информацию о состоянии трехмерного объекта, даже когда информация о характерных точках в достаточной мере не получена.

РЕШЕНИЕ ЗАДАЧИ

Первый аспект настоящего изобретения представляет собой устройство распознавания трехмерного объекта, включающее в себя: блок формирования изображений, сконфигурированный для получения изображений области поиска и генерировать данные изображения; блок сопряжения, сконфигурированный для сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов; блок обновления модели, сконфигурированный для обновления модели трехмерной формы, исходя из характерных точек, ассоциированных блоком сопряжения; блок оценки движения, сконфигурированный для оценки движения трехмерного объекта, исходя из истории положения и угловой ориентации модели трехмерной формы, обновленной блоком обновления модели для оценки модели трехмерной формы в произвольный момент времени в будущем; и блок определения достоверности, сконфигурированный для сопоставления характерных точек, ассоциированных блоком сопряжения, с моделью трехмерной формы, оцененной блоком оценки движения и заставляющий блок обновления модели обновлять модели трехмерной формы, исходя лишь из характерных точек, которые были определены как достоверные.

Второй аспект настоящего изобретения представляет собой устройство распознавания трехмерного объекта, включающее в себя: блок формирования изображений, сконфигурированный для получения изображений области поиска и генерирования данных изображения; блок сопряжения, сконфигурированный для сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов; блок обновления модели, сконфигурированный для обновления модели трехмерной формы, исходя из характерных точек, ассоциированных блоком сопряжения; и блок оценки движения, сконфигурированный для оценки движения трехмерного объекта, исходя из истории положения и угловой ориентации модели трехмерной формы, обновленной блоком обновления модели для оценки модели трехмерной формы в произвольный момент времени в будущем. В произвольный момент времени в будущем, блок сопряжения сопоставляет трехмерный объект с моделью трехмерной формы, оцененной блоком оценки движения.

Блок оценки движения может оценивать в целом модели трехмерной формы.

Блок оценки движения может оценивать модели трехмерной формы исходя из характерных точек сегментов.

Блок оценки движения может оценивать движения с использованием протяженного фильтра Калмана.

Третий аспект настоящего изобретения представляет собой способ распознавания трехмерного объекта, включающий в себя этапы: получение изображений области поиска для генерирования данных изображения; сопоставление трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов; сопоставление ассоциированных характерных точек с оцененной моделью трехмерной формы, для извлечения лишь тех характерных точек, которые были определены как достоверные; обновление модели трехмерной формы, исходя из извлеченных характерных точек; и оценивание движения трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем.

Четвертый аспект настоящего изобретения представляет собой способ распознавания трехмерного объекта, включающий в себя этапы: получения изображений области поиска для генерирования данных изображения; сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов; обновления модели трехмерной формы, исходя из ассоциированных характерных точек; и оценивания движения трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем, для использования оцененной модели трехмерной формы при сопоставлении образов, в произвольный момент времени в будущем.

ВЫГОДНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

Согласно настоящему изобретению можно повысить точность сопряжения между собой трехмерного объекта и модели трехмерной формы и вывести информацию о состоянии трехмерного объекта с высокой точностью, даже когда информация о характерных точках не может быть получена надлежащим образом.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 представляет собой разъяснительный вид, иллюстрирующий относительное соотношение пространственных местоположений между космическим мусором и уборочным спутником.

Фиг. 2(a) и (b) представляют собой разъяснительные диаграммы для разъяснения отслеживания космического мусора.

Фиг. 3 представляет собой функциональную блок-схему, иллюстрирующую схематическую конфигурацию устройства распознавания трехмерного объекта.

Фиг. 4 представляет собой разъяснительный вид для разъяснения функционирования блока извлечения характерных точек.

Фиг. 5 представляет собой разъяснительный вид для разъяснения функционирования блока сопряжения.

Фиг. 6 представляет собой блок-схему, показывающую обработку потока образов согласно способу распознавания трехмерного объекта.

Фиг. 7 представляет собой блок-схему, показывающую обработку потока образов согласно способу распознавания трехмерного объекта в другом варианте воплощения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Что касается прилагаемых чертежей, описание предпочтительных вариантов воплощения настоящего изобретения приведено подробно ниже. Размеры, материалы, другие конкретные численные значения и т.п., показанные в вариантах воплощения, показаны лишь в качестве примера для простоты понимания настоящего изобретения, и они не ограничивают настоящее изобретение, до тех пор, пока специально не указано иное. В описании и на чертежах компонентам, обладающим фактически одинаковыми функциями и конфигурациями, даны одинаковые ссылочные обозначения, и повторение их описания опущено. Компоненты, которые непосредственно не относятся к настоящему изобретению, на чертежах не показаны.

(УБОРОЧНЫЙ СПУТНИК 10)

Фиг. 1 представляет собой разъяснительный вид, иллюстрирующий относительное соотношение пространственных местоположений между космическим мусором 12 и уборочным спутником 10. Что касается Фиг. 1, космический мусор 12 вращается вокруг Земли 14 по орбите 16 с низкой загрузкой, а уборочный спутник 10 вращается вокруг космического мусора 12. В настоящей работе предполагается, что космический мусор 12 представляет собой целевой трехмерный объект, подлежащий распознаванию, который соответствует отброшенной части верхней ступени крупной ракеты.

Например, при переходе на орбиту вокруг космического мусора 12, уборочный спутник 10 выполняет облет, с получением изображений космического мусора 12 через устройство для формирования изображений, для вывода относительного информации о пространственном местоположении и информации об угловой ориентации (информации о состоянии) космического мусора 12 на уборочный спутник 10. Уборочный спутник 10 затем захватывает целевой космический мусор 12 посредством захватывающего устройства. Когда уборочный спутник 10 выполняет облет по орбите вокруг космического мусора 12 указанным образом, уборочный спутник 10 в некоторых случаях не может получить достаточное количество характерных точек из полученного изображения, в зависимости от ориентации космического мусора 12 относительное уборочного спутника 10.

Например, когда уборочный спутник 10 выполняет облет по орбите вокруг космического мусора 12, в зависимости от относительного соотношения пространственных местоположений между космическим мусором 12, уборочным спутником 10 и Солнцем или угловой ориентации космического мусора 12, область поверхности космического мусора 12, облученная солнечным светом, на полученном изображении достаточно велика, тогда как теневая область в некоторых случаях мала. В других случаях, область поверхности космического мусора 12, облученная солнечным светом, на полученном изображении мала, тогда как теневая область также мала. В последнем случае, уборочный спутник 10 не принимает достаточное количество характерных точек и не может выполнять корректное сопоставление образов между телом космического мусора 12 и моделью трехмерной формы, соответствующей космическому мусору 12. Более того, поскольку космический мусор 12 движется, с изменением его угловой ориентации, становится сложным точно указать информацию о пространственном местоположении и информацию об угловой ориентации. Поскольку целевой диапазон сопоставления образов велик, сопоставление образов иногда выполняется некорректно. Уборочному спутнику 10 может не получиться осуществить отслеживание космического мусора 12 в качестве цели, или он может потерять космический мусор 12 из поля зрения по пути.

Фиг. 2(a) и (b) представляет собой разъяснительные диаграммы для разъяснения отслеживания космического мусора 12. Горизонтальная ось каждой диаграммы отображает время, а вертикальная ось отображает угол вращения вокруг оси космического мусора 12. В настоящей работе предполагается, что космический мусор 12 со временем поворачивается на угол вращения, указанный штрихпунктирной линией на Фиг. 2(a) (истинные значения угла вращения). Однако движение характерных точек при сопряжении уборочным спутником 10 не может быть разложено на движение и изменение угловой ориентации космического мусора 12. Следовательно, измеренные значения угла вращения следуют траектории, отличной от истинных значений, указанных сплошной линией на Фиг. 2(а). Что касается Фиг. 2(а), например, характерная точка, которая исходно отслеживалась подобно истинным значениям, теряется, когда погрешность угла вращения становится большой, и затем добавляется в виде новой характерной точки по истечении определенного периода времени.

Поэтому, в данном варианте воплощения процесс отслеживания космического мусора 12 в качестве целевого трехмерного объекта осуществляют, наряду с процессом оценки движения, для оценки движения космического мусора 12, вследствие чего повышается точность сопряжения между собой космического мусора 12 и моделью трехмерной формы. Когда движение космического мусора 12 оценивается, как было описано выше, местоположение, где движется характерная точка, может быть определено с высокой точностью, и, как указано сплошной линией на Фиг. 2(b), можно получить измеренные значения угла вращения, близкие к истинным значениям угла вращения, указанным штрихпунктирной линией на Фиг. 2(b).

В частности, в данном варианте воплощения процесс отслеживания и процесс трехмерной реконструкции для трехмерного объекта (в настоящей работе - космического мусора 12) выполняется параллельно. Процесс отслеживания рассчитывает информацию о состоянии космического мусора 12 относительно блока формирования изображений путем ассоциирования характерных точек на двумерном изображении с характерными точками модели трехмерной формы (сопоставление образов). В данном процессе характерные точки, которые были перемещены или вновь извлечены, используются в процессе трехмерной реконструкции. В процессе трехмерной реконструкции используются характерные точки, были перемещены или вновь извлечены, для выполнения трехмерной реконструкции, с использованием принципа блочного уравнивания, с обновлением, таким образом, модели трехмерной формы. Реконструированную модель трехмерной формы используют для оценки движения, а оцененную модель трехмерной формы используют для повышения точности сопряжения.

Здесь и далее приводится описание конкретной конфигурации устройства 100 распознавания трехмерного объекта, реализующего вышеупомянутый процесс отслеживания и процесс трехмерной реконструкции на уборочном спутнике 10. Впоследствии будет приведено описание обработки потока образов согласно способу распознавания трехмерного объекта, исходя из блок-схемы.

(УСТРОЙСТВО РАСПОЗНАВАНИЯ ТРЕХМЕРНОГО ОБЪЕКТА 100)

Фиг. 3 представляет собой функциональную блок-схему, иллюстрирующую схематическую конфигурацию устройства 100 распознавания трехмерного объекта. Устройство 100 распознавания трехмерного объекта включает в себя блок 110 формирования изображений, блок 112 памяти и центральный контроллер 114.

Блок 113 формирования изображений включает в себя элемент формирования изображения, такой как ПЗС (прибор с зарядовой связью) или КМОП (комплементарный металлооксидный полупроводник). Блок 113 формирования изображений захватывает изображения области поиска и генерирует данные изображения. В данном варианте воплощения предполагается, что космический мусор 12 присутствует на изображении, исходя из данных изображения.

Информация о состоянии включает в себя информацию о пространственном местоположении и информация об угловой ориентации космического мусора 12, расположенного в области поиска относительно блока 113 формирования изображений. Информация о состоянии может быть получена с использованием дальномерного устройства, такого как лазерный радар, но в данном варианте воплощения получена с использованием блока 113 формирования изображений. Это возможно, поскольку блок 113 формирования изображений достаточно мал и обладает небольшой массой и допускает прием информации о состоянии при низких затратах. При использовании блока 113 формирования изображений, достаточное количество характерных точек в некоторых случаях не может быть получено из поступивших изображений, как было описано выше. Однако, в данном варианте воплощения, путем дополнительного использования процесса оценки движения, информация о состоянии трехмерного объекта может быть определена с высокой точностью, даже из изображений, полученных блоком 110 формирования изображений. При выводе информации о состоянии, абсолютное положение или угловая ориентация любого одного объекта - космического мусора 12 или блока 113 формирования изображений - может быть определена путем точного определения абсолютного положения или угловой ориентации другого объекта.

Хотя данные изображения, генерируемые блоком 110 формирования изображений, показывают двумерное изображения, объект, отображенный на плоскости в данных изображения, может быть распознан в трехмерном виде за счет изменения относительного соотношения пространственных местоположений между космическим мусором 12 и блоком 113 формирования изображений, то есть за счет смещения блока 113 формирования изображений, например, таким образом, чтобы данные изображения были генерированы относительно нескольких различных точек наблюдения (под различными углами наблюдения).

Вместо генерирования данных изображения из нескольких различных точек наблюдения одиночным блоком 113 формирования изображений, данные изображения из нескольких различных точек наблюдения могут быть генерированы одновременно с множеством блоков 110 формирования изображения, различных по местоположению и направлению формирования изображения. Таким образом, трехмерная форма космического мусора 12 может быть определена, исходя из информации, полученной с нескольких точек обзора, что, таким образом, сокращает время обработки и повышает точность определения.

Блок 112 памяти представляет собой статическое ЗУПВ, динамическое ЗУПВ, флеш-память, накопитель на жестком диске (hard disk drive, HDD) и т.п., и он временно сохраняет данные изображения, генерируемые блоком 110 формирования изображений, и модель трехмерной формы космического мусора 12.

Центральный контроллер 114 представляет собой полупроводниковую интегральную схему, включающую в себя центральный процессор (ЦП), цифровой процессор сигналов (ЦПС), ПЗУ и программы запоминающего устройства и т.п., ЗУПВ в качестве рабочего отсека, и сконфигурирован для управления и контроля всего устройства 100 распознавания трехмерного объекта. В данном варианте воплощения центральный контроллер 114 также функционирует как блок 120 обработки изображений, блок 122 извлечения характерных точек, блок 124 устройства сопряжения, блок 126 определения достоверности, блок 128 обновления модели и блок 130 оценки движения.

Блок 120 обработки изображений выполняет обработку изображения для изображения на основе данных изображения, генерируемых блоком 110 формирования изображений, перед проведением процесса отслеживания согласно варианту воплощения. Обработка изображения включает в себя коррекцию дисторсии объектива блока 110 формирования изображений и настройку баланса белого.

Блок 122 извлечения характерных точек извлекает характерные точки из изображения, подвергнутого обработке изображения блоком 120 обработки изображений.

Фиг. 4 представляет собой разъяснительный вид для разъяснения функционирования блока 122 извлечения характерных точек. Блок 113 формирования изображений захватывает изображения космического мусора 12 и генерирует данные изображения. Блок 122 извлечения характерных точек извлекает вершин (углов) из двумерного изображения 150, исходя из данных изображения, уже подвергнутых обработке изображения, и сохраняет его структуры изображения в виде характерных точек 152.

В качестве способа извлечения может быть использован алгоритм Харриса. Алгоритм Харриса является пригодным для выявления углов объекта и т.п., изображения которого включают в себя градиенты плотности. Алгоритм Харриса является действующей технологией и в настоящей работе подробно не описан.

Блок 124 устройства сопряжения сопоставляет космический мусор 12 на изображении 150, исходя из данных изображения, с моделью трехмерной формы космического мусора 12 и выполняет сопоставление образов для ассоциирования коррелированных характерных точек друг с другом.

Фиг. 5 представляет собой разъяснительный вид для разъяснения функционирования блока 124 устройства сопряжения. Сначала, для сопоставления характерных точек модели 160 трехмерной формы с моделью изображения, модель 160 трехмерной формы, обновленную блоком 128 обновления модели (описанным ниже), проецируют на плоскость, с образованием двумерного изображения 162. Блок 124 устройства сопряжения сопоставляет каждую характерную точку 152 космического мусора 12, извлеченную блоком 122 извлечения характерных точек, с двумерным изображением 162, сформированным путем плоскостного проецирования модели 160 трехмерной формы, для выведения характерных точек (блоков) 164, коррелированных с соответствующими характерными точками 152, полученными из двумерного изображения 162, которое сформировано путем плоскостного проецирования модели 160 трехмерной формы.

В данном варианте воплощения модель 160 трехмерной формы в качестве цели сопоставления отражает предыдущую информацию о состоянии. Иными словами, модель 160 трехмерной формы включает в себя соотношение пространственных местоположений и соотношение угловых ориентации, полученные при предыдущем процессе формирования изображения. Следовательно, на изображении 150, полученном на основе данных изображения и двумерного изображения 162, характерные точки, отображающие один и тот же участок, расположены относительно близко друг к другу. Поэтому блок 124 устройства сопряжения ограничивает целевой диапазон сопоставления образов до заданного диапазона и выводит характерные точки 164, коррелированные с характерными точками на изображении 150, лишь из заданного диапазона. Целевой диапазон сопоставления образов с произвольной характерной точкой 152а на изображении 150, полученной, исходя из данных изображения, ограничен, например, диапазоном 166 на двумерном изображении 162.

При такой конфигурации, загрузку обработки можно сделать намного ниже, чем в случае поиска всего диапазона модели 160 трехмерной формы для корреляции с характерной точкой 152. Более того, в космическом мусоре 12, включающем в себя множество участков, обладающих сходными структурами изображения, различные структуры изображения могут быть исключены из целевого поиска. Поэтому можно избежать таких последствий, при которых исходно одинаковые характерные точки определяются как различные характерные точки, или различные характерные точки определяются как одинаковые характерные точки, из-за сбоя в сопоставлении образов.

В данном варианте воплощения характерные точки 152 извлекают из изображения 150, исходя из данных изображения, и извлеченные характерные точки 152 сопоставляют с двумерным изображением 162, которое получают путем плоскостного проецирования модели 160 трехмерной формы. Однако оно может быть сконфигурировано таким образом, чтобы характерные точки 164 были извлечены из группы точек модели 160 трехмерной формы, и извлеченные характерные точки 164 были сопоставлены с изображением 150, исходя из данных изображения. Это может снизить загрузку обработки в некоторых технологиях обработки.

Блок 126 определения достоверности сопоставляет характерные точки 164, ассоциированные блоком сопряжения 124, с моделью трехмерной формы, оцененной блоком 130 оценки движения (описанным ниже), и определяет достоверность характерных точек 164.

Как было описано выше, результат сопряжения блоком 124 сопряжения (характерные точки 164) используют для создания модели трехмерной формы в данном варианте воплощения. Однако, как только модель 160 трехмерной формы обновляется, исходя из ошибочной информации, сопряжение начинает выполняться некорректно, исходя из ошибочной информации, что, таким образом, влияет на конечный результат сопряжения. В данном варианте воплощения определяют, подходят ли характерные точки 164, выведенные блоком 124 сопряжения, для того, чтобы они были отображены на модели 160 трехмерной формы (достоверны ли характерные точки 164). Используются только те характерные точки 164, которые являются подходящими для отображения на модели 160 трехмерной формы, тогда как другие точки 164 исключаются, что, таким образом, делает модель 160 трехмерной формы подходящей.

В настоящей работе блок 126 определения достоверности выполняет определение достоверности следующим образом. Сначала блок 130 оценки движения (описанный ниже) оценивает движение космического мусора 12 для расчета информации о состоянии, которую модель 160 трехмерной формы, указанная для предыдущего процесса формирования изображения, имеет при настоящем процессе формирования изображения. Блок 126 определения достоверности сопоставляет двумерное изображение 162, которое получают путем плоскостного проецирования оцененной трехмерной модели, с несколькими характерными точками 164, определенными блоком сопряжения 124, коррелируемыми с ним, и определяет, близка ли информация о состоянии, включающая в себя оцененное положение и угловую ориентацию, к информации о состоянии для каждой характерной точки 164. Когда каждый полученный параметр движения включен в предварительно заданный ожидаемый диапазон, блок 126 определения достоверности распознает характерную точку 164, представляющую интерес, как достоверную характерную точку. Определение достоверности более подробно описано ниже.

Что касается информации о состоянии модели 160 трехмерной формы, генерируемой при предыдущем процессе формирования изображения, блок 128 обновления модели использует несколько характерных точек 164, определенных блоком 126 определения достоверности в качестве достоверных для трехмерной реконструкции для обновления модели 160 трехмерной формы, исходя из текущего процесса формирования изображения. Путем дальнейшей трехмерной реконструкции соотношений пространственных местоположений достоверных характерных точек 164, выведенных указанным образом, можно рассчитать смещение и поворот модели 160 трехмерной формы, с минимизацией, таким образом, погрешностей.

Модель 160 трехмерной формы обновляют, с использованием блочного уравнивания. Блочное уравнивание представляет собой способ реконструкции модели трехмерной формы из нескольких двумерных изображений. Блочное уравнивание представляет собой существующую технологию, и ее подробное описание опущено.

Блок 130 оценки движения оценивает движение трехмерного объекта, исходя из истории положения и угловой ориентации модели 160 трехмерной формы, обновленной блоком 128 обновления модели, для оценки модели трехмерной формы в произвольный момент времени в будущем. В варианте воплощения движение космического мусора 12 оценивают с помощью протяженного фильтра Калмана, с использованием временного перехода модели 160 трехмерной формы, генерируемой блоком 128 обновления модели.

В данном варианте воплощения движение характерных точек 164 распознается для оценки движения и изменения угловой ориентации, в добавление к сопоставлению образов. Это может повысить точность при точном определении характерных точек 164. Более того, повторяется корректное сопряжение с корректно оцененными характерными точками и реконструкция модели трехмерной формы 160, исходя из корректных характерных точек 164, извлеченных за счет сопряжения. Взаимодействие сопряжения и реконструкции может повысить точность при сопряжении между собой космического мусора 12 и модели 160 трехмерной формы, с обеспечением, таким образом, с высокой точностью, информации о состоянии космического мусора 12.

(РАЗЪЯСНЕНИЕ ПРОТЯЖЕННОГО ФИЛЬТРА КАЛМАНА)

Здесь и далее будет приведено описание протяженного фильтра Калмана, управляемого блоком 130 оценки движения. В настоящей работе протяженный фильтр Калмана используют для оценки показателя состояния X_t космического мусора 12

Здесь P_t - местоположение космического мусора 12; Q_t - кватернион угловой ориентации космического мусора 12; V_t скорость космического мусора 12; и W_t - угловая скорость космического мусора 12. Каждый параметр задан Уравнением 2, приведенным ниже:

В настоящей работе изменение времени показателя состояния X_t задано с помощью уравнения изменения состояния, и, таким образом, получается Уравнение 3, приведенное ниже:

Уравнение изменения состояния, выраженное Уравнением 3, создано на основе предположения, что относительное движение космического мусора 12 к уборочному спутнику 10 представляет собой сочетание равномерного линейного движения и равномерного вращательного движения с угловой скоростью. В настоящей работе замеренные величины, полученные путем распознавания изображения, представляют собой местоположение P_t и угловую ориентацию Q_t. Исходя из замеренных величин, скорость V_t и угловую скорость W_t оценивают с помощью протяженного фильтра Калмана. При использовании оцененной скорости V_t и угловой скорости W_t, информацию о состоянии космического мусора 12 в произвольный момент времени можно оценить с помощью уравнения изменения состояния, представляющего собой Уравнение 3. Оцененные значения могут быть использованы при управлении уборочным спутником 10, включая формирование траектории для захвата космического мусора 12.

Блок 130 оценки движения оценивает в целом всю модель 160 трехмерной формы, как было описано выше, но он может быть сконфигурирован для оценки модели 160 трехмерной формы, исходя из сегментов, например, характерных точек. Обработка оценки движения может быть выполнена для каждой характерной точки сегментов, вследствие чего характерные точки 164 могут быть определены с более высокой точностью.

Как было описано выше, в данном варианте воплощения модель 160 трехмерной формы как результат оценки движения возвращает нас к определению достоверности, вследствие чего на обновление модели 160 трехмерной формы не может повлиять ошибочное распознание.

Точнее говоря, когда блок 130 оценки движения оценивает следующее соотношение пространственных местоположений и соотношение угловых ориентаций для модели трехмерной формы через уравнение изменения состояния, т.е. Уравнение 3, результат оценки используют в определении достоверности при следующем процессе формирования изображения. Блок 126 определения достоверности определяет достоверность путем сопоставления замеренной величины Q_mea угловой ориентации Q_t с оцененной величиной Q_pre угловой ориентации в следующий момент формирования изображения. В настоящей работе рассчитывается заданное значение М, выраженное Уравнением 4:

CovQ представляет собой ожидание дисперсия ошибок оцененного значения Q_pre, рассчитанного с помощью протяженного фильтра Калмана, и заданное значение М называется расстоянием Махаланобиса и представляет собой заданное значение, отображающее то, насколько замеренная величина Q_mea отклоняется от оцененной модели трехмерной формы.

В варианте воплощения, когда заданное значение М, в частности, повышается или понижается, характерная точка 164, представляющая интерес, определяется как ложное (неверное) распознание и исключается. Пороговое значение для определения ложного распознания представляет собой уникальный набор на основе переходного состояния заданного значения М, и т.п., в испытании, предварительно выполненном, с использованием, например, репрезентативных данных изображения, на вызывающих ложное распознание. Когда характерная точка 164 определяется как ложно распознанная, характерная точка 164, представляющая интерес, не используется в обновлении модели 160 трехмерной формы или в процессе оценки, с использованием замеренной величины. Поэтому, модель 160 трехмерной формы подходящим образом поддерживают, даже при наличии ложного распознания. Следовательно, когда оптические условия улучшаются, с получением видимой характерной точки 164, которая не была визуально распознана, характерная точка 164 может быть распознана снова. Это может повысить точность измерения соотношения пространственных местоположений и соотношения угловых ориентаций, с повышением, таким образом, точности оценки движения.

Процесс, выполняемый блоком 124 сопряжения, соответствует вышеописанному процессу отслеживания, а процесс генерирования модели 160 трехмерной формы блоком 128 обновления модели соответствует вышеописанному процессу трехмерной реконструкции.

Более того, обеспечена программа, функционирующая в качестве устройства 100 распознавания трехмерного объекта посредством компьютера и носителя информации, сохраняющая программу. Более того, программа может быть загружена из носителя информации на компьютер или может быть перемещена посредством коммуникационной сети, загружаемой на компьютер.

(СПОСОБ РАСПОЗНАВАНИЯ ТРЕХМЕРНОГО ОБЪЕКТА)

Фиг. 6 представляет собой блок-схему, показывающую обработку потока образов согласно способу распознавания трехмерного объекта. В настоящей работе способ распознавания трехмерного объекта выполняется в виде обработки прерываний, выполняемой с предварительно заданным периодом времени. Сначала блок 113 формирования изображений устройства распознавания трехмерного объекта 100 захватывает изображения области поиска для генерирования данных изображения (S200). Блок 122 извлечения характерных точек извлекает характерные точки из изображения, которое подвергается обработке изображения блоком 120 обработки изображений (S202). Блок 124 устройства сопряжения сопоставляет характерные точки извлеченные блоком 122 извлечения характерных точек с моделью трехмерной формы, соответствующей космическому мусору 12, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов (S204).

Блок 12 6 определения достоверности сопоставляет ассоциированные характерные точки с оцененной моделью трехмерной формы, для извлечения только тех характерных точек, которые были определены как достоверные (S206). Блок 128 обновления модели использует извлеченные характерные точки для обновления модели трехмерной формы (S208). Блок 130 оценки движения оценивает движение трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем (S210). Таким образом, оцененную модель трехмерной формы используют при определении достоверности. Это может повысить точность при сопряжении между собой трехмерного объекта и модели трехмерной формы, даже когда информация о характерных точках не может быть надлежащим образом получена, с подачей, таким образом, с высокой точностью, информации о состоянии трехмерного объекта.

(ПРОВЕРКА ЭФФЕКТА)

Путем моделирования, при условиях наблюдения, облета, движение космического мусора 12 может быть оценено в пределах стандартного отклонения угла вращения 0,7 градусов. Когда изображение определенной части космического мусора 12 не может быть получено посредством процесса формирования изображения в течение определенного периода времени, погрешность повышается до 7 градусов максимум, но как только изображение части получается снова, угол вращения быстро преобразуется в свое истинное значение.

(ДРУГИЕ ВАРИАНТЫ ВОПЛОЩЕНИЯ)

В вышеприведенном описании варианта воплощения блок 126 определения достоверности использует результат оценки движения блоком оценки движения 130. Однако результат оценки движения может быть использован блоком 124 сопряжения. Например, блок 130 оценки движения оценивает движение трехмерного объекта, исходя из истории положения и угловой ориентации модели 160 трехмерной формы, обновленной блоком 128 обновления модели, для оценки модели трехмерной формы в произвольный момент времени в будущем (при следующем процессе формирования изображения). Блок 124 устройства сопряжения затем сопоставляет трехмерный объект на изображении 150, исходя из данных изображения, с моделью трехмерной формы, оцененной блоком 130 оценки движения, для ассоциирования коррелированных характерных точек друг с другом, путем сопоставления образов.

При такой конфигурации оцененная модель 160 трехмерной формы как объект сравнения отражает предыдущую информацию о состоянии и уже подвергается воздействию процесса оценки движения. Следовательно, характерные точки, отображающие тот же участок на изображении 150, исходя из данных изображения и двумерного изображения 162, расположены почти в том же местоположении. Следовательно, когда диапазон, который подвергают воздействию сопоставления образов с произвольной характерной точкой 152а на изображении 150, исходя из данных изображения, задают меньшим, чем диапазон в вышеописанном варианте воплощения, неверные характерные точки автоматически исключаются. Следовательно, блок 126 определения достоверности также не является необходимым.

Фиг. 7 представляет собой блок-схему, показывающую обработку потока образов согласно способу распознавания трехмерного объекта в другом варианте воплощения. Сначала блок 113 формирования изображений устройства распознавания трехмерного объекта 100 захватывает изображения области поиска для генерирования данных изображения (S300), а блок 122 извлечения характерных точек извлекает характерные точки 152 из изображения 150, которое подвергают воздействию обработки изображения блоком 120 обработки изображений (S302). Блок 124 устройства сопряжения сопоставляет характерные точки 152, извлеченные блоком 122 извлечения характерных точек, с моделью трехмерной формы, соответствующей космическому мусору 12, для ассоциирования коррелированных характерных точек друг с другом, путем сопоставления образов (S304).

Блок 128 обновления модели обновляет модель 160 трехмерной формы, исходя из извлеченных характерных точек (S306). Блок 130 оценки движения оценивает движение трехмерного объекта, исходя из истории положения и угловой ориентации модели 160 трехмерной формы, обновленной посредством блок 128 обновления, для оценки модели трехмерной формы в произвольный момент времени в будущем. Оцененную модель трехмерной формы используют при сопоставлении образов в произвольный момент времени в будущем (S308). Это может повысить точность в сопряжении между собой трехмерного объекта и модели трехмерной формы, даже когда информация о характерных точках не может быть надлежащим образом получена, с обеспечением, таким образом, информации о состоянии трехмерного объекта, с высокой точностью.

Выше были описаны предпочтительные варианты воплощения настоящего изобретения, применительно к прилагаемым чертежам. Однако настоящее изобретение не ограничено вариантами воплощения. Очевидно, что специалисты в данной области техники могут достигнуть различных видоизменений и модификаций, без отступления от объема формулы изобретения, и должно быть понятно, что видоизменения и модификации находятся в рамках технического объема настоящего изобретения.

В вышеописанных вариантах воплощения, например, трехмерный объект представляет собой космический мусор 12. Однако трехмерный объект может представлять собой различные тип существующих трехмерных объектов. Вышеописанный вариант воплощения предполагает использование в космосе, но не ограничен этим случаем. Настоящее изобретение применимо для любой области на Земле.

Этапы способа трехмерного распознавания, представленные в описании, не требуют осуществления в хронологическом порядке, описанном в блок-схеме, и они могут быть выполнены параллельно, или могут включать в себя обработку подпрограммой.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение применимо для устройства трехмерного распознавания и способа трехмерного распознавания, для распознавания трехмерного объекта.

Изобретение относится к распознаванию трехмерного объекта. Техническим результатом является повышение точности сопряжения между собой трехмерного объекта и модели трехмерной формы. Устройство содержит: блок формирования изображений; блок сопряжения; блок обновления модели; блок оценки движения; блок определения достоверности. 4 н. и 5 з.п. ф-лы, 7 ил.

1. Устройство распознавания трехмерного объекта, содержащее:

- блок формирования изображений, сконфигурированный для получения изображений области поиска и генерирования данных изображения;

- блок сопряжения, сконфигурированный для сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов;

- блок обновления модели, сконфигурированный для обновления модели трехмерной формы, исходя из характерных точек, ассоциированных блоком сопряжения;

- блок оценки движения, сконфигурированный для оценки движения трехмерного объекта, исходя из истории положения и угловой ориентации модели трехмерной формы, обновленной блоком обновления модели, для оценки модели трехмерной формы в произвольный момент времени в будущем; и

- блок определения достоверности, сконфигурированный для сопоставления характерных точек, ассоциированных блоком сопряжения, с моделью трехмерной формы, оцененной блоком оценки движения, и побуждения блока обновления модели обновлять модель трехмерной формы, исходя лишь из характерных точек, которые были определены как достоверные.

2. Устройство распознавания трехмерного объекта, содержащее:

- блок формирования изображений, сконфигурированный для получения изображений области поиска и генерирования данных изображения;

- блок сопряжения, сконфигурированный для сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов;

- блок обновления модели, сконфигурированный для обновления модели трехмерной формы, исходя из характерных точек, ассоциированных блоком сопряжения; и

- блок оценки движения, сконфигурированный для оценки движения трехмерного объекта, исходя из истории положения и угловой ориентации модели трехмерной формы, обновленной блоком обновления модели, для оценки модели трехмерной формы в произвольный момент времени в будущем, причем в произвольный момент времени в будущем блок сопряжения сопоставляет трехмерный объект с моделью трехмерной формы, оцененной блоком оценки движения.

3. Устройство распознавания трехмерного объекта по п. 1, в котором блок оценки движения оценивает в целом модель трехмерной формы.

4. Устройство распознавания трехмерного объекта по п. 2, в котором блок оценки движения оценивает в целом модель трехмерной формы.

5. Устройство распознавания трехмерного объекта по п. 1, в котором блок оценки движения оценивает модель трехмерной формы, исходя из характерных точек сегментов.

6. Устройство распознавания трехмерного объекта по п. 2, в котором блок оценки движения оценивает модель трехмерной формы, исходя из характерных точек сегментов.

7. Устройство распознавания трехмерного объекта по любому из пп. 1-6, в котором блок оценки движения оценивает движение с использованием протяженного фильтра Калмана.

8. Способ распознавания трехмерного объекта, содержащий этапы:

- получения изображений области поиска для генерирования данных изображений;

- сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов;

- сопоставления ассоциированных характерных точек с оцененной моделью трехмерной формы для извлечения лишь характерных точек, которые были определены как достоверные;

- обновления модели трехмерной формы, исходя из извлеченных характерных точек; и

- оценивания движения трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем.

9. Способ распознавания трехмерного объекта, содержащий этапы:

- получения изображений области поиска для генерирования данных изображения;

- сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов;

- обновления модели трехмерной формы, исходя из характерных точек, ассоциированных путем сопоставления образов; и

- оценивания движения трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем, для использования оцененной модели трехмерной формы при сопоставлении образов в произвольный момент времени в будущем.