МОБИЛЬНОЕ УСТРОЙСТВО ВИЗУАЛИЗАЦИИ КОНТРОЛЯ ТЕХНОЛОГИЧЕСКОГО ПРОЦЕССА С ПРИМЕНЕНИЕМ ТЕХНОЛОГИИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ Российский патент 2020 года по МПК G06T7/00 G06T7/11 G06T19/00 G01N21/88 

Предлагаемое изобретение относится к информационной технике, в частности к дополненной и виртуальной реальности.

Из уровня техники известно устройство, использующее технологию дополненной реальности - продольно-распиловочный станок для распилки бревен, патент «RU 2566994 С2», выдан 27.10.2015. Работа данного устройства заключается в построении карты распила при помощи технологии дополненной реальности на мониторе компьютера. Отличием и недостатком данного устройства является отсутствие возможности использования мобильных устройств в том числе носимых устройств, а так же невозможности использования устройства в качестве устройства для контроля соответствия требований конструкторской документации при производстве изделия.

Из уровня техники также известно устройство визуализации технологического процесса «RU 98610 U1», выдан 20.10.2010. Работа данного устройства, выбранного в качестве прототипа, предназначена для автоматизации технологического процесса с элементами визуализации последовательности выполнения технологических операций и содержит модуль подготовки визуальных эффектов, связанный группой входов-выходов с модулем сопряжения, модуль разработки инструкции, связанный группой входов-выходов с модулем сопряжения, модуль отображения информации, входящий в модуль разработки инструкции, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции, входящий в модуль разработки инструкции, модуль редактора инструкции, входящий в модуль разработки инструкции, автоматизированное рабочее место, связанное группой входов-выходов с модулем сопряжения, модуль сопряжения, связанный группами входов-выходов с перечисленными модулями. Ключевым отличием является введение модулей: модуль компиляции инструкции, модуль передачи данных на мобильное устройство, мобильное устройство, модуль преобразования конструкторской модели в файл для просмотра. Так же, отличием данного устройства от предлагаемого является то, что данное устройство помогает визуализировать техпроцесс (сопоставить реальное изделие с его 3D-моделью) без использования мобильного устройства (смартфона, планшета, AR-очков, ноутбука) и без использования средств дополненной реальности, не предоставляет возможности проконтролировать соответствие требований конструкторской документации непосредственно на собранном (частично собранном) изделии.

Задачей предлагаемого изобретения является устранение перечисленных выше недостатков и создание мобильного устройства сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности с возможностью проведения контроля соответствия требований конструкторской документации при производстве или эксплуатации изделия, в том числе при прокладке кабелей, трубопроводов и мест их привязки (кондуитов, реперных точек и т.п.).

Техническим результатом является обеспечение сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности.

Технический результат достигается тем, что в мобильное устройство сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности, состоящее из модуля разработки инструкции, включающего модуль отображения информации, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции, модуль редактора инструкции, связанный группой входов-выходов с модулем сопряжения, автоматизированного рабочего места связанным группой входов выходов с модулем сопряжения, причем модуль отображения информации связан группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции и группой входов-выходов с модулем редактора инструкции, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции связан группой входов выходов с модулем отображения информации и группой входов-выходов с модулем редактора инструкции, а модуль редактора инструкции связан группой входов-выходов с модулем отображения информации и группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции, в отличие от известного введен модуль компиляции инструкции связанный группой входов выходов с модулем сопряжения, модуль передачи данных на мобильное устройство связанных группой входов-выходов с модулем сопряжения и группой выходов с мобильным устройством, мобильное устройство, в котором модуль просмотра инструкции выполнен в виде модуля подтверждения соответствия виртуального изделия реальному, модуля выбора отображаемой информации, модуля смещения виртуального изделия в системе координат и модуль сохранения результатов соответствия, а также введены модуль преобразования конструкторской модели в файл для просмотра связанный группой входов-выходов с модулем сопряжения и модуль подготовки визуальных эффектов связанный группой входов-выходов с модулем сопряжения, причем модуль подтверждения соответствия виртуального изделия реальному связан группой входов-выходов с модулем выбора отображаемой информации, группой входов-выходов с модулем смещения виртуального изделия в системе координат и группой входов-выходов с модулем сохранения результатов соответствия, модуль выбора отображаемой информации связан группой входов-выходов с модулем смещения виртуального изделия в системе координат.

Под реальным изделием подразумевается изготовленное или частично изготовленное физическое изделие. Под 3D-моделью реального изделия подразумевается компьютерная (электронная) геометрическая модель изделия, содержащая требования конструкторской документации, в т.ч. являющаяся конструкторской документацией.

Устройство предназначено для упрощения (удобства) проведения контроля соответствия требований конструкторской документации, при производстве или эксплуатации изделия, в том числе при прокладке кабелей, трубопроводов и мест их привязки (кондуитов, реперных точек и т.п.).

Сущность изобретения поясняется приведенными фигурами:

- на фиг.1 представлена структурная схема одного из вариантов мобильного устройства сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности;

- на фиг.2 представлен пример внешнего вида модуля смещения виртуального изделия в системе координат, полностью отображаемом (без дополнительной кнопки, открывающей основные) на экране модуля просмотра инструкции на мобильном устройстве;

- на фиг.3 представлен пример внешнего вида обложки инструкции в модуле выбора просмотра инструкции в мобильном устройстве.

На фиг.1 обозначены:

1 - модуль преобразования конструкторской модели в файл для просмотра;

2 - модуль подготовки визуальных эффектов;

3 - модуль разработки инструкции;

4 - модуль отображения информации;

5 - модуль ввода-вывода данных и задания параметров разрабатываемой инструкции;

6 - модуль редактора инструкции;

7 - модуль сопряжения;

8 - модуль компиляции инструкции;

9 - автоматизированное рабочее место;

10 - модуль передачи данных на мобильное устройство;

11 - мобильное устройство;

12 - модуль просмотра инструкции;

13 - модуль подтверждения соответствия виртуального изделия реальному;

14 - модуль выбора отображаемой информации;

15 - модуль смещения виртуального изделия в системе координат;

16 - модуль сохранения результатов соответствия.

Предлагаемое устройство в общем случае содержит: модуль преобразования конструкторской модели в файл для просмотра 1, модуль подготовки визуальных эффектов 2, модуль разработки инструкции 3, состоящий из модуля отображения информации 4, модуля ввода-вывода данных и задания параметров разрабатываемой инструкции 5 и модуля редактора инструкции 6, модуль сопряжения 7, модуль компиляции инструкции 8, по крайне мере, одно автоматизированное рабочее место 9, модуль передачи данных на мобильное устройство 10, по крайней мере, одно мобильное устройство 11, модуль просмотра инструкции 12, состоящего из модуля подтверждения соответствия виртуального изделия реальному 13, модуля выбора отображаемой информации 14, модуля смещения виртуального изделия в системе координат 15 и модуля сохранения результатов соответствия 16, причем группа входов-выходов модуля преобразования конструкторской модели в файл для просмотра 1 соединена с группой входов-выходов модуля сопряжения 7, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов модуля подготовки визуальных эффектов 2, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов модуля разработки инструкции 3, модуль отображения информации 4 связан группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции 5 и группой входов-выходов с модулем редактора инструкции 6, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции 5 связан группой входов выходов с модулем отображения информации 4 и группой входов-выходов с модулем редактора инструкции 6, а модуль редактора инструкции 6 связан группой входов-выходов с модулем отображения информации 4 и группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции 5, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов модуля компиляции инструкции 8, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов автоматизированного рабочего места 9, группа входов-выходов модуля сопряжения 7 соединена с группой входов-выходов модуля передачи данных на мобильное устройство 10, группа выходов модуля передачи данных на мобильное устройство 10 соединена с группой входов мобильного устройства 11, включающее в себя модуль просмотра инструкции 12, включающий в себя модуль подтверждения соответствия виртуального изделия реальному 13, модуль выбора отображаемой информации 14, модуль смещения виртуального изделия в системе координат 15 и модуль сохранения результатов соответствия 16, причем модуль подтверждения соответствия виртуального изделия реальному 13 связан группой входов-выходов с модулем выбора отображаемой информации 14, группой входов-выходов с модулем смещения виртуального изделия в системе координат 15 и группой входов-выходов с модулем сохранения результатов соответствия 16, модуль выбора отображаемой информации 14 связан группой входов-выходов с модулем смещения виртуального изделия в системе координат 15 и группой входов-выходов с модулем подтверждения соответствия виртуального изделия реальному 13, модуль смещения виртуального изделия в системе координат 15 связан группой входов-выходов с модулем выбора отображаемой информации 14 и группой входов-выходов с модулем подтверждения соответствия виртуального изделия реальному 13, а модуль сохранения результатов соответствия 16 связан группой входов-выходов с модулем подтверждения соответствия виртуального изделия реальному 13.

Модуль преобразования конструкторской модели в файл для просмотра 1 предназначен для преобразования 3D-модели в файл просмотра. Для создания файла просмотра применяется алгоритм сжатия, что существенно уменьшает размер файла при сохранении геометрической точности. Полученный файл включает: структуру сборки (с положениями деталей); метаданные и основные характеристики, которые необходимы для принятия решений; геометрические данные вместе с допусками и предельными отклонениями формы и взаимного расположения; слоями, цветом и текстурами. Файлы для просмотра открываются намного быстрее, чем исходная 3D-модель.

Модуль подготовки визуальных эффектов 2 предназначен для разработки и добавления визуальных эффектов в файл для просмотра в модуле преобразования конструкторской модели в файл для просмотра 1. Модуль позволяет редактировать цвет 3D-модели, положение компонентов изделия, отображение компонентов изделия, прозрачность изделия и т.д. Модуль позволяет создавать или редактировать анимацию и визуальные эффекты в анимации.

Модуль разработки инструкции 3 предназначен для автоматизированной разработки приложения для контроля соответствия требований конструкторской документации при производстве изделия из уже подготовленных или частично подготовленных данных. В модуль разработки инструкции обязательно входят модуль отображения информации 4, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции 5 и модуль редактора инструкции 6, в котором и протекают основные процессы по разработке приложения для мобильного устройства 11.

Модуль отображения информации 4 может быть выполнен в виде стандартного монитора или экрана и интерфейса с элементами управления и программным обеспечением (ПО).

Модуль ввода-вывода данных и задания параметров 5 может состоять из клавиатуры, манипулятора (компьютерной мыши) и USB-порта или любого другого устройства ввода-вывода информации, а также ПО и интерфейса.

Модуль редактора инструкции 6 предназначен для редактирования и публикации (отправки на компиляцию) приложения с инструкцией контроля соответствия требований конструкторской документации при производстве изделия и представляет специальное ПО. Редактирование производится из уже подготовленных 3D-моделей, анимации и визуальных эффектов. Так же включает в себя подготовленный шаблон интерфейса приложения.

Модуль сопряжения 7 предназначен для обработки и преобразования массивов информации, передаваемых от других модулей.

Модуль компиляции инструкции 8 предназначен для формирования приложения в подходящий формат для мобильного устройства 11 из модуля редактора инструкции 6 и передачи этого формата в модуль 3.

Автоматизированное рабочее место 9 может быть выполнено на базе персонального компьютера (ПК). Обеспечивает доступ оператора (разработчика) к пользовательскому интерфейсу модуля сопряжения 7, который позволяет осуществлять работу с модулями 1, 2, 3, 4, 5, 6, 8, 10. Автоматизированное рабочее место 9 может быть представлен как отдельным ПК с доступом по сети к модулю 7, так и одним ПК с модулем 7 внутри.

Модуль передачи данных на мобильное устройство 10 предназначен для передачи готового приложения с инструкцией контроля соответствия требований конструкторской документации при производстве или эксплуатации изделия из модуля сопряжения 7 в мобильное устройство 11. Модуль передачи данных на мобильное устройство 10 может быть представлен проводной (например, Ethernet) или беспроводной (например, Wi-Fi) сетью передачи данных.

Мобильное устройство 11 предназначено для приема готового приложения с инструкцией контроля соответствия требований конструкторской документации при производстве изделия через модуль передачи данных на мобильное устройство 10 от модуля сопряжения 7 и для возможности просмотра полученной инструкции.

Модуль просмотра инструкции 12 предназначен для открытия приложения с инструкцией контроля соответствия требований конструкторской документации при производстве изделия и корректного отображения загруженной информации и представляет специальное ПО для ОС мобильного устройства.

Модуль подтверждения соответствия виртуального изделия реальному 13 предназначен для графического отображения соответствия виртуальной детали реальной в изделии. Изменение состояния производится по тапу по соответствующей части инструкции. Красным цветом отображаются все детали, над которыми нужно провести контроль соответствия требований конструкторской документации при производстве или эксплуатации изделия. При однократном тапе (нажатии) по контролируемому элементу 3D-модели в инструкции, он меняет цвет на зеленый, указывая на соответствие расположения данного элемента элементу реального изделия, следовательно, и требованиям конструкторской документации; при двукратном тапе (нажатии) по контролируемому элементу - он меняет цвет на черный, указывая на отклонение расположения данного элемента в инструкции от элемента реального изделия. Модуль может быть представлен настройкой анимации в модуле 2 или специальным скриптом, настроенном в модуле 6.

Модуль выбора отображаемой информации 14 предназначен для отображения нужной только в данный момент времени информации. Т.е., если отображаются одновременно два типа деталей для проверки на соответствие, например, кабели и кондуиты, то при помощи модуля 14 тапом (нажатием) на соответствующую кнопку можно скрыть/отобразить один определенный тип деталей. Модуль может быть представлен настройкой в модуле 2 и специальным скриптом в модуле 6.

Модуль смещения виртуального изделия в системе координат 15 предназначен для корректировки положения виртуальной модели относительно физической в связи с погрешностью отображения и несовершенством технологии дополненной реальности на данный момент. Модуль позволяет двигать или поворачивать виртуальную модель в приложении относительно осей Χ, Υ, Z, уменьшать или увеличивать масштаб с помощью нажатия на соответствующие кнопки до момента совмещения виртуальной и физической модели, в случае необходимости. Модуль может представлять из себя набор кнопок на главном экране модуля 12 или одну кнопку, открывающую на главном экране модуля 12 соответствующий набор кнопок. Так же, в модуль обязательно входит кнопка сброса параметров. Модуль может быть представлен специальным скриптом в модуле 6. Пример внешнего вида модуля смещения виртуального изделия в системе координат 15, полностью отображаемом (без дополнительной кнопки, открывающей основные) на экране модуля просмотра инструкции 12 на мобильном устройстве 11, приведен на фиг.2.

Модуль сохранения результатов соответствия 16 предназначен для сохранения полученных данных на мобильное устройство 11 в процессе контроля соответствия требований конструкторской документации при производстве изделия. Для этого может использоваться функция создания снимков экрана (скриншотов) мобильного устройства 11 или специальный скрипт в модуле 6 с логом (историей) производимых действий.

Необходимые 3D-модели для модуля 1 могут быть получены из той же конструкторской документации, что используется при разработке изделия, т.е. не требуется какой-либо дополнительной специфической работы для разработчика, только преобразование в файл для просмотра (сквозной цикл). Далее, файл для просмотра редактируется в модуле 2. В нем разрабатываются необходимые визуальные эффекты, в том числе, анимация, изменение цвета и скрытие/отображение определенных элементов 3D-модели и др. Далее полученные данные обрабатываются в модуле редактора инструкции 6, дорабатывается внешний вид инструкции (при необходимости), функционал, после чего приложение публикуется (компилируется) модулем компиляции инструкции 8 в готовую к эксплуатации инструкцию. Инструкция передается через модуль передачи данных на мобильное устройство 10 в мобильное устройство 11 и эксплуатируется.

Модуль передачи данных на мобильное устройство 10 обязательно должен представлять сеть передачи данных: проводную и/или беспроводную.

Модуль просмотра инструкции 12 должен позволять просматривать контент независимо от наличия подключения к сети передачи данных через модуль 7 после передачи инструкции на мобильное устройство 11. Т.е. должна быть поддержка офлайн-работы модуля просмотра инструкции 12.

Модуль просмотра инструкции 12 должен иметь возможность показывать направление, с которого нужно подходить к изделию для наведения мобильного устройства 11 для проведения контроля соответствия требований конструкторской документации при производстве изделия. Для этого используется возможность модуля просмотра инструкции 12 использовать для каждой инструкции отдельную обложку, сгенерированную из материалов для подготовки инструкции в модулях 1, 2, 6. Обложка должна давать недвусмысленную информацию к какому изделию относится и с какой стороны подходить для наведения мобильного устройства 11. На обложке должно быть обозначение изделия, недвусмысленное указание области (или зоны) изделия, куда нужно направлять мобильное устройство 11, а так же проекция границ (с кратким описанием), по которым будет производиться наложение 3D-модели изделия на реальное изделие. Размеры человека и изделия на обложке должны быть пропорциональны реальным размерам. Пример обложки приведен на фиг.3.

Технический результат, достигаемый при использовании данного изобретения, заключается в обеспечении сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности, т.е. реализацию назначения, например, в случае проверки укладки кабелей, трубопроводов и мест их привязки (кондуитов, реперных точек и т.п.).

Предлагаемое мобильное устройство сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности может работать как в онлайн, так и в офлайн режимах. В качестве мобильного устройства 11 не обязательно использовать смартфон, можно использовать планшет, очки дополненной реальности или любое другое носимое устройство с подходящими характеристиками.

Представленные схема и описание позволяют реализовать изобретение, что характеризует его как промышленно применимое.

Изобретение относится к информационной технике. Технический результат - обеспечение сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности. Такой результат достигается тем, что в мобильное устройство визуализации контроля технологического процесса с применением технологии дополненной реальности, состоящее из модуля разработки инструкции, включающего модуль отображения информации, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции, модуль редактора инструкции, модуля сопряжения и автоматизированного рабочего места, введены с соответствующими связями модуль компиляции инструкции, модуль передачи данных на мобильное устройство, мобильное устройство, в котором модуль просмотра инструкции выполнен в виде модуля подтверждения соответствия виртуального изделия реальному, модуля выбора отображаемой информации, модуля смещения виртуального изделия в системе координат, модуль сохранения результатов соответствия, модуль преобразования конструкторской модели в файл для просмотра и модуль подготовки визуальных эффектов. 3 ил.

Мобильное устройство сопоставления реального изделия и его 3D-модели в процессе контроля технологического процесса с применением технологии дополненной реальности, состоящее из модуля подготовки визуальных эффектов, связанного группой входов-выходов с модулем сопряжения, модуля разработки инструкции, связанного группой входов-выходов с модулем сопряжения, включающего модуль отображения информации, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции, модуль редактора инструкции, связанный группой входов-выходов с модулем сопряжения, автоматизированного рабочего места, связанного группой входов-выходов с модулем сопряжения, причем модуль отображения информации связан группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции и группой входов-выходов с модулем редактора инструкции, модуль ввода-вывода данных и задания параметров разрабатываемой инструкции связан группой входов-выходов с модулем отображения информации и группой входов-выходов с модулем редактора инструкции, а модуль редактора инструкции связан группой входов-выходов с модулем отображения информации и группой входов-выходов с модулем ввода-вывода данных и задания параметров разрабатываемой инструкции, отличающееся тем, что в него введен модуль компиляции инструкции, связанный группой входов-выходов с модулем сопряжения, модуль передачи данных на мобильное устройство, связанный группой входов-выходов с модулем сопряжения и группой выходов с мобильным устройством, мобильное устройство, в котором модуль просмотра инструкции выполнен в виде модуля подтверждения соответствия виртуального изделия реальному, модуля выбора отображаемой информации, модуля смещения виртуального изделия в системе координат и модуля сохранения результатов соответствия, а также введен модуль преобразования конструкторской модели в файл для просмотра, связанный группой входов-выходов с модулем сопряжения, причем модуль подтверждения соответствия виртуального изделия реальному связан группой входов-выходов с модулем выбора отображаемой информации, группой входов-выходов с модулем смещения виртуального изделия в системе координат и группой входов-выходов с модулем сохранения результатов соответствия, модуль выбора отображаемой информации связан группой входов-выходов с модулем смещения виртуального изделия в системе координат.