УСТРОЙСТВО И СПОСОБ ПРЕДСТАВЛЕНИЯ СТРУКТУРНОЙ ИНФОРМАЦИИ О ТЕХНИЧЕСКОМ ОБЪЕКТЕ Российский патент 2019 года по МПК G06T19/00 G06T7/60 G06K9/00 

Структура и конструкция технических объектов, таких как транспортные средства, здания, машины, приборы, схемы и установки, становятся все более сложными. Углубленное знание соответствующих структур соответствующего технического объекта часто особенно необходимо для технического обслуживания, ремонта и/или спасательных операций; например, знание о том, где в здании проходят токоведущие кабели, или в каком месте можно вскрыть деформированную дверь попавшего в аварию автомобиля. Поэтому на автомобилях часто рекомендуется иметь с собой так называемую спасательную карту, на которой отмечены критические компоненты, такие как бак, подушки безопасности или цилиндры под давлением. В экстренном случае, сотрудники оперативных групп могут получать доступ к этим структурным данным, чтобы обеспечивать быстрые и надежные спасательные операции. Однако подобная спасательная карта может воспроизводить сложные структурные данные лишь ограниченным образом. К тому же, отображение динамических величин, таких как показания датчиков относительно температуры двигателя или уровня заполнения бака естественно не представляется возможным.

Задачей настоящего изобретения является создание устройства и способа представления структурной информации о техническом объекте, которые обеспечивают более гибкое и более наглядное представление.

Эта задача решается с помощью устройства согласно пункту 1 формулы изобретения, с помощью способа согласно пункту 14 формулы изобретения, а также с помощью компьютерного программного продукта согласно пункту 15 формулы изобретения.

В соответствии с изобретением, для представления структурной информации о техническом объекте, например, транспортном средстве, здании, самолете, машине, приборе, схеме или установке, предусматривается устройство, например, мобильное устройство, такое как, например, смартфон, с модулем идентификации, модулем моделирования, модулем формирования изображений и модулем проецирования. Модуль идентификации служит для идентификации технического объекта. Модуль моделирования выполнен с возможностью обеспечения структурной модели идентифицированного технического объекта и для конкретного определения, в каждом случае, внешне распознаваемой структуры объекта для технического объекта и пространственно ассоциированной со структурой объекта внутренней структурной информации о техническом объекте на основе структурной модели. Модуль формирования изображения служит для формирования структурного изображения технического объекта, проекционно верной вставки структуры объекта в структурное изображение, а также для вставки структурной информации в структурное изображение в графической ассоциации со структурой объекта в форме представления, отличающейся от формы представления структуры объекта. Наконец, модуль проецирования служит для проецирования структурного изображения на технический объект.

Посредством проецирования структурного изображения, содержащего также внутреннюю структурную информацию, на технический объект пользователю соответствующего изобретению устройства может показываться непосредственно и интуитивно на самом техническом объекте, где, например, скрыта внешне не видимая структура, или где находится начальная точка для сверления или другого технического мероприятия. Различные формы представления распознаваемой снаружи структуры объекта и внутренней структурной информации облегчают выравнивание (ориентацию) проекции и улучшают возможность различения внутренних и внешних структур.

Предпочтительные варианты и усовершенствования изобретения указаны в зависимых пунктах формулы изобретения.

В соответствии с предпочтительным вариантом осуществления изобретения, может быть предусмотрен модуль выравнивания для обнаружения, перекрывается ли проецируемая на технический объект структура объекта с соответствующей поверхностной структурой технического объекта.

Таким образом, может обнаруживаться, когда проекция корректно ориентирована на технический объект, и в зависимости от этого могут инициироваться заданные действия.

Кроме того, модуль моделирования может быть выполнен с возможностью определения проекционной поверхности технического объекта на основе структурной модели. Модуль формирования изображения может тогда формировать структурное изображения в зависимости от формы определенной проекционной поверхности таким образом, что проецируемая структура объекта при проецировании на технический объект может быть приведена в совпадение с соответствующей поверхностной структурой технического объекта.

Включение формы проекционной поверхности дает возможность, как правило, корректировать проецируемое структурное изображение таким образом, что отображаемые структуры объекта воспроизводятся в верном масштабе даже в случае изогнутых проекционных поверхностей.

Согласно предпочтительному варианту осуществления изобретения, может быть предусмотрен модуль приема для приема информации состояния о пространственно ассоциированном со структурой объекта состоянии технического объекта. Модуль приема может быть связан с техническим объектом беспроводным и/или проводным способом. Модуль формирования изображения может тогда выполняться с возможностью вставки информации состояния в структурное изображение в графической ассоциации со структурой объекта. Информация состояния может включать в себя, в частности, сенсорные данные от датчика технического объекта.

Таким образом, могут проецироваться также динамические параметры, такие как температура, давление и т.д. технического объекта.

Кроме того, может быть предусмотрена камера для захвата формируемого камерой изображения от технического объекта, окружения технического объекта и/или окружения устройства. Изображение с камеры может оцениваться связанным с камерой модулем обработки изображения.

В частности, модуль обработки изображения может быть связан с модулем выравнивания и приспособлен для того, чтобы распознавать совмещение проецируемой на технический объект структуры объекта с соответствующей поверхностной структурой технического объекта на основе изображения с камеры.

Это позволяет осуществлять автоматическое распознавание корректного выравнивания проекции.

Кроме того, модуль обработки изображения может быть связан с модулем идентификации, и модуль идентификации может быть выполнен с возможностью идентификации технического объекта на основе изображения с камеры. Таким образом, можно, например, снимать камерой нанесенную на технический объект маркировку, например, маркировку в форме QR-кода, и извлекать из изображения с камеры QR-код, идентифицирующий технический объект.

В соответствии с предпочтительным вариантом осуществления изобретения, модуль проецирования и модуль формирования изображения может быть выполнены с возможностью проецирования так называемого структурированного света на технический объект. Модуль обработки изображения может тогда быть приспособлен для того, чтобы определять из изображения с камеры спроецированного структурированного света положение, ориентацию и/или форму проекционную поверхности технического объекта.

Оценка снятых камерой изображений спроецированного структурированного света, как правило, позволяет осуществить сравнительно точный пространственный обмер технического объекта.

В соответствии с другим вариантом осуществления изобретения, может быть предусмотрен модуль регистрации позиции для регистрации позиции и/или ориентации технического объекта по отношению к устройству. Модуль формирования изображения может тогда формировать структурное изображение в зависимости от зарегистрированной позиции и/или ориентации технического объекта.

В частности, модуль регистрации позиции может быть связан с модулем обработки изображения, а также быть приспособлен для регистрации позиции и/или ориентации технического объекта на основании изображения с камеры.

Кроме того, модуль регистрации позиции может содержать датчик движения, датчик ускорения, датчик расположения, датчик ориентации и/или приемник спутниковой навигации для регистрации движения, расположения, ориентации и/или позиции устройства. Модуль формирования изображения может тогда быть приспособлен к тому, чтобы структурное изображение, после регистрации совмещения спроецированной на технический объект структуры объекта с соответствующей поверхностной структурой технического объекта, отслеживалось в соответствии с зарегистрированным движением, расположением, ориентацией и/или позицией устройства. В частности, модуль обработки изображения может при этом регистрировать перемещение устройства путем определения оптического потока на основе одного или нескольких изображений с камеры.

С помощью модуля регистрации позиции, ориентация, масштабирование и проецируемый фрагмент изображения структурного изображения может определяться и/или отслеживаться в зависимости от зарегистрированной позиции и/или ориентации технического объекта.

Пример выполнения изобретения подробно поясняется ниже со ссылкой на чертежи. При этом на чертежах в схематичном представлении показано следующее:

Фиг. 1 - технический объект, а также соответствующее изобретению мобильное устройство для представления структурной информации об этом техническом объекте,

Фиг. 2 - сформированное посредством мобильного устройства структурное изображение технического объекта,

Фиг. 3 - проекция структурного изображения на технический объект и

Фиг. 4 - иллюстрация отслеживания этой проекции при перемещении мобильного устройства.

На фиг. 1 схематично представлено соответствующее изобретению устройство SP, реализованное как мобильное устройство, для представления структурной информации о техническом объекте ТО, а также сам этот технический объект ТО.

Технический объект ТО может представлять собой, например, транспортное средство, самолет, здание, машину, прибор, схему или установку. Предпочтительно он имеет датчик S для регистрации сенсорных данных SD в качестве информации состояния о техническом объекте TO. Сенсорные данные SD могут, например, относиться к температуре, давлению, уровню заполнения или другим динамическим параметрам технического объекта ТО или его определенных пространственно ограниченных областей. Сенсорные данные SD предпочтительно регистрируются датчиком S в реальном времени.

Технический объект ТО также имеет передатчик TX для предпочтительно беспроводной передачи сенсорных данных SD, например, через так называемый Bluetooth-интерфейс. В качестве альтернативы или дополнительно, передатчик TX также может быть выполнен с возможностью передачи сенсорных данных SD через один или несколько проводных интерфейсов. В частности, может предусматриваться несколько различных расположенных на техническом объекте TO интерфейсов, которые передают различные сенсорные данные. Таким образом, пользователь, посредством выбора интерфейса, с которым связано мобильное устройство SP, может ограничивать передаваемые сенсорные данные.

Наружная поверхность технического объекта ТО служит в качестве проекционной поверхности POF для проецирования структурного изображения посредством соответствующего изобретению мобильного устройства SP на технический объект TO. На проекционной поверхности POF расположены распознаваемые снаружи, предпочтительно визуально, признаки объекта, QRM, технического объекта ТО. В настоящем примере выполнения, в качестве распознаваемых снаружи признаков объекта предусмотрены нанесенные на технический объект ТО маркировки, например, так называемые маркировки QR-кода, QRM. Подобные маркировки QR-кода, QRM, предпочтительно могут также служить для идентификации технического объекта TO.

Соответствующее изобретению мобильное устройство SP имеет модуль проецирования, РМ, например, LED-проектор или проекционное устройство с одним или несколькими отклоняемыми лазерными лучами. В качестве мобильного устройства SP может, например, применяться смартфон, оснащенный LED-проектором.

Мобильное устройство SP также имеет модуль регистрации позиции, РО, для регистрации позиции и/или ориентации технического объекта ТО относительно мобильного устройства SP. Модуль регистрации позиции, РО, включает в себя, в свою очередь, датчик перемещения, датчик ускорения, датчик расположения, датчик ориентации, приемник спутниковой навигации и/или другой датчик позиции, BS, для регистрации перемещения, расположения, ориентации и/или позиции мобильного устройства SP. Такие датчики позиции, BS, могут быть реализованы, например, с помощью гироскопа, датчика Холла или компаса.

Мобильное устройство SP дополнительно содержит камеру C для съемки изображений с камеры, CI, технического объекта ТО, окружения технического объекта ТО и/или окружения мобильного устройства SP. Камера С может быть подходящей для съемки изображений с камеры, CI, в видимом свете, в инфракрасном свете и/или в ультрафиолетовом свете. Вместо или дополнительно к камере, может также быть предусмотрен 3D-сканер для сканирования технического объекта ТО, окружения технического объекта ТО и/или окружения мобильного устройства SP. Таким образом, отсканированные 3D-формы могут применяться вместо или дополнительно к изображению с камеры, CI.

Мобильное устройство SP дополнительно включает в себя связанный с камерой C, а также с модулем регистрации позиции, PE, модуль обработки изображения, IPROC, для оценки изображения с камеры, CI. Тем самым модуль регистрации позиции, РЕ, может регистрировать относительную позицию и/или ориентацию РО технического объекта TO и мобильного устройства SP относительно друг друга на основе оцениваемого посредством модуля обработки изображения, IPROC, изображения с камеры, CI, технического объекта TO, окружения технического объекта TO и/или окружения мобильного устройства SP.

Предпочтительно, может быть предусмотрено, проецировать так называемый структурированный свет SL посредством модуля проецирования РМ на технический объект ТО. На основе изображения с камеры проецируемого на проекционную поверхность POF структурированного света SL может тогда определяться относительная позиция и/или ориентация PO, а также форма проекционной поверхности POF. Относительная позиция и/или ориентация РО от модуля регистрации позиции, РЕ, передается к модулю формирования изображения, IGEN.

Мобильное устройство SP также имеет модуль идентификации, IDM, для идентификации технического объекта TO предпочтительно на основе изображения с камеры, CI, технического объекта ТО. В настоящем примере выполнения, посредством модуля обработки изображения, IPROC, детектируются нанесенные на техническом объекте ТО маркировки QR-кода, QRM, в изображении с камеры, CI, и содержание данных, то есть QR-код QR маркировок QR-кода, QRM, извлекается и передается к модулю идентификации IDM. Модуль идентификации IDM определяет на этой основе однозначный идентификатор объекта, ID, технического объекта TO и/или соотнесенную с соответствующей маркировкой QR-кода, QRM, область технического объекта ТО. В качестве альтернативы или в дополнение, другие признаки объекта технического объекта ТО могут обнаруживаться на основе изображения с камеры, CI, и использоваться для идентификации. Если камера С является чувствительной к инфракрасному или ультрафиолетовому спектру, то также невидимые человеку маркировки могут наноситься на технический объект и оцениваться модулем обработки изображения, IPROC.

Альтернативно или дополнительно к автоматической идентификации технического объекта ТО на основе признаков объекта, QRM, также может предусматриваться идентификация технического объекта на основе пользовательского ввода, например, типа транспортного средства или номера помещения.

В соответствии с изобретением, мобильное устройство SP имеет модуль моделирования ММ, который обеспечивает предпочтительно трехмерную структурную модель SM идентифицированного технического объекта TO. Структурная модель SM технического объекта ТО может приниматься и подготавливаться модулем моделирования ММ, например, посредством модуля приема RX. Модуль приема RX может принимать структурную модель SM, например, через мобильную радиосвязь, WLAN и/или Bluetooth или через проводной интерфейс.

Посредством структурной модели SM представляется внешне распознаваемая структура объекта, SI, технического объекта TO, а также внутренняя структурная информация SI о техническом объекте. Структурная модель SM включает в себя структуру объекта, OS, и структурную информацию SI в пространственной ассоциации друг с другом, соответствующей реальному техническому объекту. В частности, структурная информация SI показана в ее относительном положении к признакам объекта, QRM. Структура объекта, OS, соответствует внешне видимым поверхностным структурам технического объекта, предпочтительно многим визуально хорошо распознаваемым статическим признакам объекта или маркировкам технического объекта TO. Это могут быть, например, края дверей, углы дверей, дверные таблички и т.д., соответственно, в верной по положению пространственной ассоциации с другими признаками объекта технического объекта ТО. В данном примере выполнения, с этой целью, в частности, используются маркировки QR-кода, QRM. Для этого маркировки QR-кода, QRM, а также их соответствующая позиция на техническом объекте ТО сохраняются в структурной модели SM.

Структурная информация SI воспроизводит внутренние структуры, предпочтительно снаружи не распознаваемые или лишь с трудом распознаваемые структуры технического объекта ТО. Это может быть, например, очертанием скрытых под поверхностью объекта кабелей или других технических структур. Они представляются посредством структурной модели SM в их пространственной ассоциации с внешне распознаваемой структурой объекта, OS.

Модуль моделирования ММ определяет на основе идентифицированной структурной модели SM структуру объекта, OS, а также структурную информацию SI и передает их на модуль формирования изображения, IGEN. Кроме того, модуль приема RX принимает сенсорные данные SD беспроводным способом от передатчика TX технического объекта TO и передает сенсорные данные SD также на модуль формирования изображения, IGEN. Структурная модель SM содержит предпочтительно информацию об относительной позиции датчика S на техническом объекте TO, так что модуль моделирования ММ может пространственно позиционировать сенсорные данные SD относительно структуры объекта, OS, и структурной информации SI и также передавать это позиционирование к модулю формирования изображения, IGEN.

Модуль формирования изображения, IGEN, служит для формирования структурного изображения SIMG, а также для формирования структурированного света SL. Модуль формирования изображения, IGEN, добавляет структуру объекта OS, структурную информацию, SI, а также сенсорные данные SD, которые пространственно ассоциированы друг с другом, в каждом случае в соответствующей проекционно верной графической ассоциации в структурное изображение, SIMG. При этом структурная информация SI и сенсорные данные SD добавляются в форме представления, отличающейся от формы представления структуры объекта, OS. При этом формы представления могут отличаться, например, по своему цвету, яркости, контрасту и т.д. Графическая ассоциация внутри структурного изображения SIMG иллюстрируется на фиг. 1 двойными стрелками. Модуль формирования изображения, IGEN, определяет ориентацию, масштабирование, перспективу и/или представленный фрагмент изображения структурного изображения SIMG в соответствии с относительной позицией и/или ориентацией PO, а также в соответствии с формой проекционной поверхности POF. Это осуществляется таким образом, что содержание структурного изображения SIMG при проецировании на технический объект ТО может приводиться в совмещение с соответствующей поверхностной структурой технического объекта. Включение поверхностной формы позволяет скорректировать проецируемое структурное изображение SIMG таким образом, что представленные структуры объекта воспроизводятся в верном масштабе.

Сформированное структурное изображение SIMG передается от модуля формирования изображения, IGEN, на модуль проецирования РМ и с помощью него проецируется на проекционную поверхность POF технического объекта ТО.

Проекция структуры объекта, OS, вручную и/или автоматически приводится в совмещение с соответствующими ему признаками объекта, здесь QRM. Если проекция и реальные признаки объекта, QRM, совмещаются, то проекция выровнена. Для регистрации выполненного выравнивания, предусмотрен модуль выравнивания AM. Модуль выравнивания АМ связан с модулем обработки изображения, IPROC, а также с модулем регистрации позиции, РЕ. Регистрация выравнивания может осуществляться автоматически на основе изображения с камеры, CI, технического объекта ТО и/или вручную путем приведения в действие переключателя или кнопки. Такая регистрация корректного выравнивания часто упоминается как приводка.

Фиг. 2 показывает более подробное схематичное представление сформированного структурного изображения SIMG. В качестве распознаваемой снаружи структуры объекта, OS, технического объекта ТО добавлены изображения маркировок QR-кода, QRM, в соответствии с их позицией по отношению друг к другу и к другим распознаваемым снаружи структурам объекта, а также в соответствии с видимыми извне признаками объекта или маркировками технического объекта ТО. Изображения маркировок QR-кода, QRM, дополняются с замыканием формы перекрестиями, которые действуют в качестве проекционных структур, облегчающих выравнивание.

В качестве структурной информации SI, не видимый снаружи шарнир в его корректной позиции относительно маркировки QR-кода, QRM, вставлен в структурное изображение SIMG. Дополнительно здесь имеется краткая надпись ʺРезать здесь!ʺ с соответствующей стрелкой. Кроме того, в структурное изображение SIMG в качестве информации состояния SD вставлено изображение термометра, иллюстрирующего температуру вблизи шарнира, вместе с краткой записью ʺГорячо!ʺ. Структурная информация SI и информация состояния SD представлены, например, в другом цвете, чем структуры объекта, OS.

Фиг. 3 иллюстрирует проецирование структурного изображения SIMG на проекционную поверхность POF технического объекта TO. В качестве примера, в качестве проекционной поверхности POF может быть стенка здания или самолета с дверью Т, например, дверью в машинное отделение. Стенка имеет, например, три нанесенные маркировки QR-кода, QRM, две из которых находятся в изображенном пунктирной линией проекционном конусе мобильного устройства SP. На основе маркировок QR-кода, QRM, структурная модель SM или сформированное из нее структурное изображение SIMG может выравниваться на реальном техническом объекте ТО. Кроме того, нанесенные маркировки QR-кода, QRM, обеспечивают возможность однозначной идентификации технического объекта TO, а также пространственной области вокруг соответственно обнаруженной маркировки QR-кода, QRM.

QR-код может быть легко считан с помощью камеры C мобильного устройства SP. На основе изображения с камеры, CI, может также определяться относительное положение и/или ориентация PO маркировок QR-кода, QRM, и мобильного устройства SP относительно друг друга. На основании определенного положения и/или ориентации РО, релевантные для проецирования структуры OS, SI и SD могут формироваться из структурной модели SM. При этом могут учитываться искажения, вытекающие из сохраненной в структурной модели SN и/или зарегистрированной с помощью структурированного света SL формы проекционной поверхности POF. Сформированное таким образом структурное изображение SIMG проецируется проекционным модулем РМ на проекционную поверхность POF и приводится в совмещение с соответствующей поверхностной структурой, здесь нанесенными маркировками QR-кода, QRM. Совместно проецируемые перекрестия облегчают корректное выравнивание.

В качестве альтернативы или дополнительно к выравниванию на маркировках QRM, могут также проецироваться другие видимые снаружи структуры объекта, OS, технического объекта ТО. В данном случае, при наличии на проекционной поверхности POF двери Т, может, например, снаружи видимая дверная рама или дверная табличка проецироваться в качестве структуры объекта, SO, и приводиться в совмещение с реальной дверной рамой или дверной табличкой технического объекта TO.

Выравнивание проецируемого структурного изображения SIMG может осуществляться вручную пользователем или автоматически на основании определенного относительного положения и/или ориентации PO. В последнем случае структурное изображение SIMG формируется в зависимости от относительного положения и/или ориентации PO, чтобы его проекция была совмещена с соответствующей структурой поверхности технического объекта TO. При этом выполненное выравнивание распознается с помощью модуля выравнивания AM.

Проекция показывает пользователю мобильного устройства SP непосредственно и интуитивным образом, где скрыт не видимый снаружи шарнир, и что с ним нужно делать в аварийной ситуации. Кроме того, указывается, что температура в окрестности шарнира очень высокая.

Изобретение имеет разнообразное применение при спасательных операциях, техническом обслуживании и/или ремонте. Посредством визуально непосредственно видимого перехода (наплыва) структурной модели SM на реальный технический объект ТО может, например, непосредственно отображаться идеальная начальная точка для сверления или применения другого технического мероприятия. Таким способом можно во многих случаях избегать подверженной ошибкам передачи от среды отображения к реальному техническому объекту.

После выполнения выравнивания или приводки проекции, ее можно автоматически отслеживать при перемещении мобильного устройства SP.

Фиг. 4 иллюстрирует такое отслеживание. При этом отслеживание основывается на обнаружении движения, расположения, ориентации и/или позиции мобильного устройства SP после выполненной приводки. Обнаружение осуществляется с помощью позиционного датчика BS и/или на основе оптического потока, который определяется путем оценки одного или нескольких изображений с камеры, CI. На основании обнаруженного движения, расположения, ориентации и/или позиции, вычисляется относительная ориентация мобильного устройства SP к проекционной поверхности POF в реальном время и, соответственно, генерируется отслеживаемое структурное изображение SIMG2.

Предполагается, что мобильное устройство SP перемещается после приводки проекции структурного изображения SIMG, как указано двойной стрелкой. Перемещение детектируется по величине и направлению на основе оптического потока нескольких изображений камеры, CI, и позиция структуры объекта, OS, структурной информации SI и сенсорных данных SD в структурном изображении SIMG сдвигаются соответственно детектированному перемещению, как указано двойной стрелкой. Таким образом, в реальном времени генерируется и проецируется новое отслеживаемое структурное изображение SIMG2, которое по меньшей мере приблизительно совпадает с признаками объекта технического объекта TO. Дополнительно может осуществляться тонкая настройка на основе изображения с камеры, CI, проецируемого структурного изображения SIMG2 посредством модуля выравнивания AM.

Таким образом, после первой приводки проекции, относительные перемещения мобильного устройства SP могут автоматически включаться в проекцию и компенсироваться, так что пользователь может перемещать проекцию при поддержании совмещения по проекционной поверхности POF. Это обеспечивает возможность, в частности, работы со свободными руками без ручных регулировок.

Изобретение относится к средствам, характеризующим структуру и конструкцию технических объектов. Технический результат заключается в обеспечении наглядной информации об объекте. Предусмотрено устройство (SP), содержащее модуль идентификации (IDM), модуль моделирования (ММ), модуль формирования изображения (IGEN) и модуль проецирования (PM). Модуль идентификации (IDM) служит для идентификации технического объекта. Модуль моделирования (ММ) выполнен с возможностью обеспечения структурной модели (SM) идентифицированного технического объекта, а также для, соответственно, конкретного определения распознаваемой извне структуры объекта (OS) технического объекта и пространственно ассоциированной со структурой объекта внутренней структурной информации (SI) о техническом объекте (ТО) на основе структурной модели (SM). Модуль формирования изображения IGEN) служит для формирования структурного изображения (SIMG) технического объекта, для проекционно точной вставки структуры объекта (OS) в структурное изображение (SIMG), а также для вставки структурной информации (SI) в структурное изображение (SIMG) в графической ассоциации со структурой объекта (OS) в форме представления, отличающейся от формы представления структуры объекта (OS). Модуль проецирования (PM) служит для проецирования структурного изображения (SIMG) на технический объект (TO). 2 н. и 10 з.п. ф-лы, 4 ил.

1. Устройство (SP) для представления структурной информации (SI) о техническом объекте (ТО), содержащее

а) модуль (IDM) идентификации для идентификации технического объекта (TO),

b) модуль (ММ) моделирования

- для обеспечения структурной модели (SM) идентифицированного технического объекта (ТО) и

- для, в каждом случае, конкретного определения распознаваемой извне структуры (OS) объекта технического объекта (ТО), а также пространственно ассоциированной со структурой (OS) объекта внутренней структурной информации (SI) о техническом объекте (ТО) на основе структурной модели (SM), а также

с) модуль(IGEN) формирования изображения

- для формирования структурного изображения (SIMG) технического объекта (ТО),

- для проекционно точной вставки структуры (OS) объекта в структурное изображение (SIMG), а также

- для вставки структурной информации (SI) в структурное изображение (SIMG) в графической ассоциации со структурой (OS) объекта в форме представления, отличающейся от формы представления структуры (OS) объекта, и

d) модуль (PM) проецирования для проецирования структурного изображения (SIMG) на технический объект (TO),

e) модуль (RX) приема для приема информации (SD) состояния о состоянии технического объекта (ТО), пространственно ассоциированном со структурой (ОS) объекта, причем упомянутая информация (SD) состояния включает в себя сенсорные данные c датчика (S) технического объекта (ТО), и

причем модуль (IGEN) формирования изображения выполнен с возможностью вставки упомянутой информации (SD) состояния в структурное изображение (SIMG) в графической ассоциации со структурой (ОS) объекта.

2. Устройство по п. 1, отличающееся

модулем (AM) выравнивания для определения того, совмещается ли спроецированная на технический объект (ТО) структура (ОS) объекта с соответствующей поверхностной структурой (QRM) технического объекта (ТО).

3. Устройство по любому из предыдущих пунктов, отличающееся тем, что

модуль (ММ) моделирования выполнен с возможностью определения проекционной поверхности (POF) технического объекта (ТО) на основе структурной модели (SM) и что модуль (IGEN) формирования изображения выполнен с возможностью формирования структурного изображения (SIMG) в зависимости от формы определенной проекционной поверхности (POF) таким образом, что спроецированная структура (OS) объекта при проецировании на технический объект (ТО) может приводиться в совмещение с соответствующей поверхностной структурой (QRM) технического объекта (ТО).

4. Устройство по любому из предыдущих пунктов, отличающееся

камерой (С) для съемки формируемого камерой изображения (CI) технического объекта (TO), окружения технического объекта и/или окружения устройства (SP), а также

связанным с камерой (C) модулем (IPRC) обработки изображения для оценки изображения (CI) с камеры.

5. Устройство по пп. 2 и 4, отличающееся тем, что модуль (АМ) выравнивания связан с модулем (IPROC) обработки изображения, и модуль (IPROC) обработки изображения выполнен с возможностью распознавания совмещения спроецированной на технический объект (ТО) структуры объекта (ОS) с соответствующей поверхностной структурой (QRM) технического объекта (ТО) на основе изображения (CI) с камеры.

6. Устройство по п. 4 или 5, отличающееся тем, что

модуль (IDM) идентификации связан с модулем (IPROC) обработки изображения и выполнен с возможностью идентификации технического объекта (ТО) на основе изображения (CI) с камеры.

7. Устройство по любому из пп. 4-6, отличающееся тем, что

модуль (РМ) проецирования и модуль (IGEN) формирования изображения выполнены с возможностью проецирования структурированного света (SL) на технический объект (ТО) и

модуль (IPROC) обработки изображения выполнен с возможностью определения из изображения (CI) с камеры спроецированного структурированного света (SL) позиции ориентации и/или формы проекционной поверхности (POF) технического объекта (ТО).

8. Устройство по любому из предыдущих пунктов, отличающееся тем, что

предусмотрен модуль (РЕ) регистрации позиции для регистрации позиции и/или ориентации (PO) технического объекта (ТО) по отношению к устройству (SP) и

модуль (IGEN) формирования изображения выполнен с возможностью формирования структурного изображения (SIMG) в зависимости от зарегистрированной позиции и/или ориентации (PO) технического объекта (ТО).

9. Устройство по пп. 4 и 8, отличающееся тем, что

модуль (РЕ) регистрации позиции связан с модулем (IPROC) обработки изображения и выполнен с возможностью регистрации позиции и/или ориентации (PO) технического объекта (TO) на основе изображения (CI) с камеры.

10. Устройство по п. 8 или 9, отличающееся тем, что

модуль (РЕ) регистрации позиции имеет датчик перемещения, датчик ускорения, датчик расположения, датчик ориентации и/или приемник (BS) спутниковой навигации для регистрации перемещения, расположения, ориентации и/или позиции устройства (SP), и

модуль (IGEN) формирования изображения выполнен с возможностью отслеживания структурного изображения (SIMG) после регистрации совмещения спроецированной на технический объект (ТО) структуры объекта (OS) с соответствующей поверхностной структурой (QRM) технического объекта (ТО) в соответствии с зарегистрированным перемещением, расположением, ориентацией и/или позицией устройства (SP).

11. Устройство по пп. 4 и 10, отличающееся тем, что

модуль (IPROC) обработки изображения выполнен с возможностью регистрации перемещения устройства (SP) путем определения оптического потока на основе одного или нескольких изображений (CI) с камеры.

12. Способ представления структурной информации (SI) о техническом объекте (ТО), причем

а) идентифицируют технический объект (ТО),

b) предоставляют структурную модель (SM) идентифицированного технического объекта (ТО),

с) на основе структурной модели (SМ) соответственно определяют

- распознаваемую извне структуру (ОS) объекта технического объекта (ТО), а также

- пространственно ассоциированную со структурой (OS) объекта внутреннюю структурную информацию (SI) о техническом объекте (ТО),

d) формируют структурное изображение (SIMG) технического объекта (ТО), причем

- структуру (ОS) объекта проекционно точно вставляют в структурное изображение (SIMG), и

- структурную информацию (SI) в графической ассоциации со структурой (OS) объекта в форме представления, отличающейся от формы представления структуры (OS) объекта, вставляют в структурное изображение (SIMG), и

е) структурное изображение (SIMG) проецируют таким образом, что спроецированная структура (OS) объекта при проецировании на технический объект (ТО) может приводиться в совмещение с соответствующей поверхностной структурой (QRM) технического объекта (ТО),

f) принимают информацию (SD) состояния о состоянии технического объекта (ТО), пространственно ассоциированном со структурой (ОS) объекта, причем упомянутая информация (SD) состояния включает в себя сенсорные данные c датчика (S) технического объекта (ТО), и

упомянутую информацию (SD) состояния вставляют в структурное изображение (SIMG) в графической ассоциации со структурой (ОS) объекта.