Система прогностического технического обслуживания с использованием технологии дополненной реальности Российский патент 2024 года по МПК G06V20/20 G05B19/00 G06K7/14 

Заявляемое изобретение относится к средствам обеспечения эксплуатации и технического обслуживания технологического оборудования за счет оценки его текущего состояния методами машинного обучения и представления обслуживающему персоналу рекомендаций по техническому обслуживанию с использованием технологии дополненной реальности.

Известен метод прогностического технического обслуживания оборудования на основе машинного обучения [патент на изобретение США US №11307570 B2, МПК G05B 23/02^2006.01, G06F 17/18^2006.01, опубл. 19.04.2022] и система, его реализующая. Предложенная система прогностического технического обслуживания включает сервер прогностического технического обслуживания, базу данных, сеть передачи данных, множество объектов технического обслуживания с установленными на них датчиками измерения параметров объектов технического обслуживания и контроллер полевого уровня, обеспечивающий опрос датчиков измерения параметров объектов технического обслуживания с передачей измеренных значений параметров серверу прогностического технического обслуживания. Сервер прогностического технического обслуживания включает следующие программные модули: модуль обработки данных, хранилище данных, модуль обучения модели технического обслуживания, модуль оценки качества модели технического обслуживания, хранилище моделей технического обслуживания, классификации и прогнозирования отказов оборудования, модуль формирования рекомендаций по техническому обслуживанию, внешние программные интерфейсы. При этом известный метод прогностического технического обслуживания оборудования на основе машинного обучения реализует следующие модели и методы прогнозирования состояния оборудования и формирования рекомендаций по техническому обслуживанию:

- модели машинного обучения: алгоритм случайного леса, метод опорных векторов, линейная регрессия, логистическая регрессия, метод повышения градиента;

- нейронные сети: рекуррентные нейронные сети, сети долгой краткосрочной памяти.

Данная система прогностического технического обслуживания оборудования на основе машинного обучения не обеспечивает представление обслуживающему персоналу рекомендаций по техническому обслуживанию, в том числе, с использованием мобильных терминалов доступа, что ограничивает ее область применения.

Известен метод и система технического обслуживания и ремонта металлообрабатывающих станков [патент на изобретение США US № 2018/0275630 A1, МПК G05B 19/4065^2006.01, опубл. 27.09.2018]. Известная система технического обслуживания и ремонта металлообрабатывающих станков включает:

- на облачном уровне иерархии: облачный сервер, содержащий визуальную модель исходного состояния станка, визуальную модель текущего состояния станка, стандартную процедуру технического обслуживания, фактическую процедуру технического обслуживания;

- на сетевом уровне иерархии: набор сетевых шлюзов и межсетевых экранов;

- на уровне производственной площадки: множество металлообрабатывающих станков с установленными на них датчиками измерения параметров объектов технического обслуживания и не менее одного киберфизического агента, обеспечивающего опрос датчиков и передачу параметров объектов технического обслуживания облачному серверу;

- локальный терминал доступа к данным, предоставляющий персоналу доступ к данным на уровне производственной площадки;

- терминал удаленного доступа, предоставляющий эксперту удаленный доступ к данным на облачном сервере через межсетевой экран сетевого уровня иерархии.

Данный метод технического обслуживания и ремонта металлообрабатывающих станков включает следующие процедуры:

- установка множества датчиков измерения параметров объекта технического обслуживания на каждый из металлообрабатывающих станков;

- формирование многокомпонентных моделей составных частей металлообрабатывающего станка в соответствии с измеренными геометрическими характеристиками;

- формирование визуальной модели исходного состояния станка с использованием построенных ранее многокомпонентных моделей составных частей;

- анализ условий периодического технического обслуживания станка и аномальных отклонений условий эксплуатации;

- разработка стандартной процедуры технического обслуживания;

- сохранение визуальной модели исходного состояния станка и стандартной процедуры технического обслуживания во внутренней памяти облачного сервера;

- соединение киберфизического агента с облачным сервером и по крайней мере одним металлообрабатывающим станком для получения стандартной процедуры технического обслуживания и наборов оперативных данных о состоянии станка;

- при регистрации аномальных отклонений условий эксплуатации станка выполняется обновление многокомпонентных моделей составных частей металлообрабатывающего станка

- формирование визуальной модели текущего состояния станка на основе визуальной модели исходного состояния станка в соответствии с оперативными данными о состоянии станка;

- формирование фактической процедуры технического обслуживания станка на основе стандартной процедуры технического обслуживания в соответствии с оперативными данными о состоянии станка;

- предоставление персоналу доступа к визуальной модели текущего состояния станка и фактической процедуре технического обслуживания;

- предоставление эксперту доступа к визуальной модели текущего состояния станка, обеспечение совместной работы персонала и удаленного эксперта в процессе технического обслуживания и ремонта станка;

- обновление визуальной модели текущего состояния станка после устранения неисправностей.

Данная система технического обслуживания и ремонта металлообрабатывающих станков имеет следующие недостатки, ограничивающих ее область применения, а именно:

- не обеспечивается контроль перемещения локального терминала доступа к данным по производственной площадке;

- не обеспечивается автоматическое формирование рекомендаций по техническому обслуживанию, в том числе с использованием моделей и методов машинного обучения.

Наиболее близким по технической сущности к заявляемому изобретению является метод и система поддержки работ по техническому обслуживанию [патент на изобретение США US №11481999 B2, МПК G06V 20/20^2022.01, G06T 7/70^2017.01, G06T 7/50^2017.01, опубл. 25.10.2022].

Предложенная система включает портативный терминал работника, осуществляющего техническое обслуживание непосредственно на рабочем месте и управляющий компьютер с экраном.

Портативный терминал содержит контроллер портативного терминала, входы и выходы которого связаны со стереокамерой, датчиком линейного ускорения, датчиком угловой скорости, триангуляционным датчиком, дисплеем, интерфейсом ввода, встроенной памятью, часами реального времени и интерфейсом портативного терминала. Контроллер портативного терминала включает следующие функциональные блоки:

- блок обработки изображений со стереокамеры;

- блок измерения линейного ускорения;

- блок измерения угловой скорости;

- блок наложения изображения;

- блок оценки положения и ориентации терминала;

- блок получения информации об объекте технического обслуживания;

- блок обработки маркеров;

- блок управления дисплеем;

- блок вставки информационных сообщений;

- блок записи результатов распознавания изображений;

- блок формирования отчетов;

- блок регистрации элементов базы данных;

- блок измерения трехмерной геометрии объектов;

- блок распознавания целевого объекта;

- блок ограничения доступа к записи изображения со стереокамеры;

- блок получения информации о внешнем виде целевого объекта;

- блок получения информации о трехмерной геометрии целевого объекта.

Управляющий компьютер включает интерфейс управляющего компьютера, связанный с интерфейсом портативного терминала посредством беспроводного канала связи и соединенный с ним управляющий контроллер с устройством хранения данных.

Система поддержки работ по техническому обслуживанию обеспечивает непрерывный контроль перемещения портативного терминала по производственной площадке, идентификацию объектов технического обслуживания по графической метке, двумерному или трехмерному изображению и вывод дополнительной информации, необходимой для выполнения операций по техническому обслуживанию, с использованием технологии дополненной реальности.

Данная система поддержки работ по техническому обслуживанию имеет следующие недостатки, ограничивающих ее область применения, а именно:

- не обеспечивается оперативная регистрация параметров объектов технического обслуживания;

- не обеспечивается автоматическое формирование рекомендаций по техническому обслуживанию, в том числе с использованием моделей и методов машинного обучения.

Задача, на решение которой направлено заявляемое изобретение, заключается в создании системы прогностического технического обслуживания с использованием технологии дополненной реальности.

Техническим результатом заявленного изобретения является расширение функциональных возможностей системы прогностического технического обслуживания с использованием технологии дополненной реальности, за счет возможности оперативной регистрации параметров объектов технического обслуживания и формирования на их основе рекомендаций по техническому обслуживанию с использованием модели машинного обучения, обеспечивающих прогнозирование и своевременное предотвращение дефектов и неисправностей объектов технического обслуживания.

Указанный технический результат достигается тем, что система прогностического технического обслуживания с использованием технологии дополненной реальности, включающая управляющий компьютер с экраном и со встроенным управляющим контроллером, соединенными с ним устройством хранения данных и интерфейсом управляющего компьютера, портативный терминал со встроенным контроллером портативного терминала, соединенными с ним стереокамерой, датчиком линейного ускорения, датчиком угловой скорости, встроенной памятью, часами реального времени, дисплеем и интерфейсом портативного терминала, соединенного посредством беспроводного канала связи с интерфейсом управляющего компьютера, при этом контроллер портативного терминала включает в себя блок обработки изображений со стереокамеры, блок измерения линейного ускорения, блок измерения угловой скорости, блок наложения изображения, блок получения информации об объекте технического обслуживания, блок обработки маркеров и блок управления дисплеем, отличающееся тем, что дополнительно содержит контроллер полевого уровня, соединенный посредством сети передачи данных с управляющим контроллером и обеспечивающей циклический опрос набора датчиков, размещенных непосредственно на объектах технического обслуживания, расположенных на производственной площадке, блок обработки и анализа данных, соединенный с управляющим контроллером и обеспечивающий формирование рекомендаций по техническому обслуживанию с использованием модели машинного обучения.

Сущность предлагаемого технического решения иллюстрируется графическими материалами, на которых показаны:

фиг. 1 - структурная схема заявляемой системы прогностического технического обслуживания с использованием технологии дополненной реальности;

фиг. 2 - организация контроля положения и ориентации портативного терминала заявляемой системы прогностического технического обслуживания с использованием технологии дополненной реальности.

Предлагаемая система прогностического технического обслуживания с использованием технологии дополненной реальности содержит портативный терминал (1), включающий в себя стереокамеру (5), датчик линейного ускорения (6), датчик угловой скорости (7), интерфейс портативного терминала (8), контроллер портативного терминала (12), встроенную память (9), часы реального времени (10) и дисплей (11), управляющий компьютер (2) с экраном (на фиг. 1 не показан), включающий в себя интерфейс управляющего компьютера (20), связанный посредством беспроводного канала связи (31) с интерфейсом портативного терминала (8), управляющий контроллер (21), блок обработки и анализа данных (22) и устройство хранения данных (23) с развернутой на нем базой данных технического обслуживания, сеть передачи данных (4).

Элементы (5-11) составляют набор периферийных устройств портативного терминала (1).

Непосредственно на объектах технического обслуживания (25, 26) установлен набор датчиков (27-30), соединенных с контроллером полевого уровня (24), осуществляющим циклический опрос датчиков (27-30) с последующей передачей данных управляющему контроллеру (21) по сети передачи данных (4).

Контроллер портативного терминала (12) включает следующие функциональные блоки:

- блок обработки изображений со стереокамеры (13);

- блок измерения линейного ускорения (14);

- блок измерения угловой скорости (15);

- блок наложения изображения (16);

- блок получения информации об объекте технического обслуживания (17);

- блок обработки маркеров (18);

- блок управления дисплеем (19).

Входы и выходы набора периферийных устройств портативного терминала (1) связаны с соответствующими входами и выходами контроллера портативного терминала (12). Входы и выходы управляющего контроллера (21) управляющего компьютера (2) связаны с соответствующими входами и выходами интерфейса управляющего компьютера (20), устройства хранения данных (23), блока обработки и анализа данных (22).

Контроль положения и ориентации портативного терминала (1), а также идентификация объектов технического обслуживания осуществляется согласно фиг. 2 по графическим маркерам двух типов:

- опорные графические маркеры, размещенные непосредственно возле входа (35) на производственную площадку (маркер 32) и входов (36.1, 36.2) в отдельные производственные помещения (маркеры 33.1, 33.2 соответственно);

- целевые графические маркеры (34.1-34.4), размещенные в непосредственной близости от объектов технического обслуживания (38-41).

В качестве объектов технического обслуживания может рассматриваться технологическое оборудование различного типа, в частности, на фиг. 2 в качестве примеров схематически представлены следующие объекты технического обслуживания:

- токарный обрабатывающий центр с числовым программным управлением (38);

- горизонтальный токарный патронно-центровой станок (39);

- токарно-фрезерный станок с револьверной головкой (40);

- горизонтально-фрезерный станок (41).

При приближении пользователя портативного терминала (1) к опорному (фиг. 2, позиции 1.1, 1.2) или целевому (фиг. 2, позиции 1.3, 1.4) графическому маркеру, необходимо навести объектив стереокамеры (5) на графический маркер и получить его изображение для дальнейшей обработки. Опорный и целевой графические маркеры представляют собой идентификационный номер в одном из двух допустимых форматов:

- штриховой код EAN/UPC в соответствии с ГОСТ ISO/IEC 15420-2010;

- штриховой код QR Code в соответствии с ГОСТ Р ИСО/МЭК 18004-2015.

Одним из результатов работы заявляемой системы прогностического технического обслуживания с использованием технологии дополненной реальности является контроль и построение пути (37) перемещения пользователя портативного терминала (1) в пределах производственной площадки (3).

Набор датчиков (27-30), установленных непосредственно на объектах технического обслуживания (25, 26), может включать следующие типы датчиков физических величин:

- датчик потребления электроэнергии;

- датчик температуры;

- датчик виброускорения;

- датчик давления;

- датчик линейного ускорения и другие.

Номенклатура измеряемых параметров зависит от типа объекта технического обслуживания. Так, для объекта технического обслуживания - вертикально-фрезерного обрабатывающего центра с числовым программным управлением HAAS VF-2SS (Haas Automation Inc., США), могут рассматриваться следующие типы датчиков:

- датчик частоты вращения вала шпинделя;

- датчик крутящего момента на валу шпинделя;

- датчик магнитной металлической стружки;

- датчик уровня смазочно-охлаждающей жидкости;

- датчик напряжения питания привода шпинделя;

- датчик тока потребления привода шпинделя;

- тензометрический датчик веса стружки.

Портативный терминал (1) выполнен в ударопрочном корпусе, изготовленном из АБС-пластика в соответствии с требованиями защите от проникновения посторонних сред не ниже IP 54 по ГОСТ 14254-2015 и пригодном для переноски пользователем без посторонней помощи.

Управляющий компьютер (2) может представлять собой совокупность следующих известных из уровня техники технических средств (производитель - Huawei Technologies Co. Ltd., КНР):

- интерфейс управляющего компьютера (20) - контроллер беспроводного доступа Huawei AC6805;

- управляющий контроллер (21), блок обработки и анализа данных (22) - сервер Huawei FS2488V5;

- устройство хранения данных (23) - сетевое хранилище данных Huawei OceanStor 5310 V6.

В качестве сети передачи данных (4) могут использоваться проводные сети передачи данных стандартов Ethernet, RS-422 или RS-485, при этом контроллер полевого уровня (24) может быть организован на базе следующей совокупности известных из уровня техники компонентов (производитель - ПО «ОВЕН», Российская Федерация):

- контроллер для средних и распределенных систем автоматизации ПЛК210;

- модуль дискретного ввода МВ210;

- модуль аналогового ввода МВ210-101;

- блок питания БП60К.

Блок обработки изображений со стереокамеры (13), блок измерения линейного ускорения (14), блок измерения угловой скорости (15), блок наложения изображения (16), блок получения информации об объекте технического обслуживания (17), блок обработки маркеров (18), блок управления дисплеем (19) могут быть реализованы в виде программных компонентов, разработанных в кросс-платформенной интегрированной среде разработки трехмерных графических приложений Unity 3D с использованием дополнительных программных библиотек Vuforia SDK и R.NET. Данные функциональные блоки загружаются во внутреннюю память (на фиг. 1 не показана) контроллера портативного терминала (12), выполненного на базе однокристальной платформы MediaTek Dimensity 1080 (производитель - MediaTek Inc., Тайвань).

В целом процедуру прогностического технического обслуживания, реализуемую заявляемой системой прогностического технического обслуживания с использованием технологии дополненной реальности, можно разделить на шесть этапов:

1) подготовительный этап;

2) прогнозирование параметров объектов технического обслуживания;

3) регистрация опорных и целевых графических маркеров;

4) обработка опорных графических маркеров;

5) обработка целевых графических маркеров;

6) форматирование и вывод рекомендаций по техническому обслуживанию с использованием технологии дополненной реальности.

Для формирования рекомендаций по техническому обслуживанию в рамках подготовительного этапа необходимо, прежде всего, произвести с использованием контроллера полевого уровня (24) циклический опрос датчиков (27-30) физических величин, непосредственно связанных с объектами технического обслуживания (25, 26). Полученные показания датчиков (27-30) сохраняются во внутренней памяти (на фиг. 1 не показан) контроллера полевого уровня (24) и, с использованием соответствующих функций встроенного программного обеспечения контроллера полевого уровня (24) посредством сети передачи данных (4) передаются в управляющий контроллер (21) и сохраняются в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).

Далее, из полученного набора показаний датчиков (27-30), блоком обработки и анализа данных (22) формируются:

- обучающая выборка параметров объектов технического обслуживания, используемая при разработке модели машинного обучения;

- валидационная выборка параметров объектов технического обслуживания, используемая в процессе разработки модели машинного обучения для подбора оптимального набора параметров;

- тестовая выборка параметров объектов технического обслуживания, используемая при тестировании модели машинного обучения.

Полученный набор выборок параметров объектов технического обслуживания вводится в используемую модель машинного обучения, реализуемую блоком обработки и анализа данных (22) с последующим обучением и тестированием данной модели машинного обучения. В качестве модели машинного обучения используется известная из уровня науки и техники архитектура рекуррентной нейронной сети на основе длинной цепи элементов краткосрочной памяти (Long Short-Term Memory, LSTM) [см. Lindemann B., Maschler B., Sahlab N., Weyrich M. A survey on anomaly detection for technical systems using LSTM networks // Computers in Industry. - 2021. - Vol. 131. - P. 103498]. По результатам работы модели машинного обучения, блоком обработки и анализа данных (22) формируется массив прогнозируемых значений параметров объектов технического обслуживания (25, 26) для заданного промежутка времени, элементы которого сравниваются с фактическими значениями параметров объектов технического обслуживания, считанными датчиками (27-30). При обнаружении аномальных расхождений прогнозируемых и фактических значений параметров, блоком обработки и анализа данных (22) формируются рекомендации по техническому обслуживанию целевых объектов в текстовом формате. Данные рекомендации формируются на основе предварительно заданных стандартных процедур технического обслуживания для объектов технического обслуживания заданного типа, записанных в базе данных технического обслуживания, размещенной в устройстве хранения данных (23), с учетом обнаруженных аномальных расхождений параметров объектов технического обслуживания.

Рекомендации по техническому обслуживанию целевых объектов сохраняются в формате текстового перечня рекомендуемых операций, таких как:

- осмотр состояния направляющих станин, кареток и других трущихся поверхностей;

- проверка отсутствия вибрации узлов;

- проверка нагрева подшипников;

- регулирование зазоров винтовых пар;

- регулирование плавности перемещения столов, суппортов, кареток, ползунов, прижимных планок и другие.

Рекомендации по техническому обслуживанию целевых объектов сохраняются в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).

Далее, в соответствии с предварительно заданным архитектурным планом производственной площадки (3), числом и расположением входов (фиг. 2, 35) и переходов (фиг. 2, 36.1, 36.2) между отдельными производственными участками, программным обеспечением управляющего контроллера (21) формируется перечень опорных графических маркеров (фиг. 2, маркеры 32, 33.1, 33.2).

При этом каждая запись перечня опорных графических маркеров включает следующие элементы:

- идентификационный номер опорного графического маркера;

- графическое изображение штрихового кода опорного графического маркера в формате EAN/UPC (по ГОСТ ISO/IEC 15420-2010) или в формате QR Code (ГОСТ Р ИСО/МЭК 18004-2015);

- относительные координаты расположения опорного графического маркера в формате (x, м; y, м), при этом за начало координат принимается опорный графический маркер (фиг. 2, 32), размещенный непосредственно возле центрального входа (фиг. 2, 35) на производственную площадку (относительные координаты - 0; 0).

В соответствии с предварительно заданной схемой размещения объектов технического обслуживания на производственной площадке формируется перечень целевых графических маркеров (фиг. 2, 34.1-34.4).

При этом каждая запись перечня целевых графических маркеров включает следующие элементы:

- идентификационный номер целевого графического маркера;

- графическое изображение штрихового кода целевого графического маркера в формате EAN/UPC (по ГОСТ ISO/IEC 15420-2010) или в формате QR Code (ГОСТ Р ИСО/МЭК 18004-2015);

- относительные координаты расположения целевого графического маркера в формате (x, м; y, м), при этом за начало координат принимается опорный графический маркер (фиг. 2, 32), размещенный непосредственно возле центрального входа (фиг. 2, 35) на производственную площадку (относительные координаты - 0; 0).

Перечни опорных графических маркеров и целевых графических маркеров сохраняются в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).

Графические изображения штрихового кода опорных и целевых графических маркеров могут быть распечатаны с использованием термотрансферных принтеров штриховых кодов и размещены:

- опорные графические маркеры (фиг. 2, 32, 33.1, 33.2): на несущих стенах и перегородках производственной площадки (3) в непосредственной близости от соответствующих входов (фиг. 2, 35) и переходов (фиг. 2, 36.1, 36.2) между отдельными производственными участками;

- целевые графические маркеры (фиг. 2, 34.1-34.4): на объектах технического обслуживания (фиг. 2, 38-41) или в непосредственной близости от них на напольных металлических стойках.

Графические изображения штрихового кода опорных и целевых графических маркеров размещаются на фиксированной высоте 1,4 м от уровня пола производственной площадки (3). Принтер штриховых кодов в состав заявляемой системы прогностического технического обслуживания с использованием технологии дополненной реальности не входит.

Далее, соответствующими функциями программного обеспечения управляющего контроллера (21) производится сопоставление ранее сформированных рекомендаций по техническому обслуживанию целевых объектов и идентификационных номеров целевых графических маркеров, результат при этом сохраняется в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).

Для регистрации графического маркера с использованием портативного терминала (1), блоку обработки изображений со стереокамеры (13) необходимо получить изображение со стереокамеры (5), при этом пользователь портативного терминала (1) должен находиться возле соответствующего графического маркера (фиг. 2, 1.1-1.4) и графический маркер должен находиться в поле зрения объектива стереокамеры (5). Изображениям со стереокамеры присваивается временная метка в формате год-месяц-дата-часы-минуты по ГОСТ Р 7.0.64-2018, полученная от часов реального времени (10), после чего изображения со стереокамеры сохраняются во встроенной памяти (9) портативного терминала (1).

Далее, блоком обработки маркеров (18) выполняется распознавание изображения со стереокамеры (5) с целью поиска графического изображения штрихового кода опорного или целевого графического маркера. Если штриховой код опорного или целевого графического маркера найден, то блоком обработки маркеров (18) выполняется его расшифровка и вывод идентификационного номера маркера. Реализация процедуры расшифровки штрихового кода опорного и целевого графических маркеров зависит от типа используемого маркера:

- штрихового кода EAN/UPC, процедура расшифровки по ГОСТ ISO/IEC 15420-2010;

- штрихового кода QR Code, процедура расшифровки по ГОСТ Р ИСО/МЭК 18004-2015.

Полученный идентификационный номер графического маркера сохраняется во встроенной памяти (9) портативного терминала (1), передается через интерфейс портативного терминала (8), беспроводной канал связи (31) и интерфейс управляющего компьютера (20) во внутреннюю память управляющего контроллера (21) с одновременным сохранением в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).

Этап обработки опорных графических маркеров с построением пути перемещения (фиг. 2, 37) портативного терминала (1) в пределах производственной площадки (3) реализуется в том случае, если идентификационный номер графического маркера соответствует одному из идентификационных номеров перечня опорных графических маркеров, сохраненного в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).

При этом программное обеспечение управляющего контроллера (21) считывает относительные координаты расположения опорного графического маркера (фиг. 2, 32, 33.1, 33.2) по идентификационному номеру опорного графического маркера и сохраняет их во встроенной памяти (9) портативного терминала (1).

При перемещении (фиг. 2, 37) пользователя с портативным терминалом (1) между точками расположения опорных (фиг. 2, 32, 33.1, 33.2) и целевых (фиг. 2, 34.1-34.4) графических маркеров непрерывно выполняются следующие процедуры:

- считывание блоком измерения линейного ускорения (14) показаний датчика линейного ускорения (6) по трем осям прямоугольной системы координат;

- передача показаний линейного ускорения перемещения портативного терминала (1) в пространстве через последовательно соединенные интерфейс портативного терминала (8), беспроводной канал связи (31) и интерфейс управляющего компьютера (20) во внутреннюю память управляющего контроллера (21);

- считывание блоком измерения угловой скорости (15) показаний датчика угловой скорости (7) по трем осям прямоугольной системы координат;

- передача показаний угловой скорости перемещения портативного терминала (1) в пространстве через последовательно соединенные интерфейс портативного терминала (8), беспроводной канал связи (31) и интерфейс управляющего компьютера (20) во внутреннюю память управляющего контроллера (21);

- оценка программным обеспечением управляющего контроллера (21) текущего положения портативного терминала (1) в пределах производственной площадки (3) путем интегрирования линейного ускорения и угловой скорости портативного терминала в относительной системе координат с опорным графическим маркером (фиг. 2, 32) с относительными координатами - 0; 0 в качестве центра;

- построение программным обеспечением управляющего контроллера (21) пути перемещения (фиг. 2, 37) портативного терминала (1) на основе оценки текущего положения портативного терминала (1) в пределах производственной площадки (3) с выводом пути перемещения портативного терминала на экран управляющего компьютера (2).

Этап обработки целевых графических маркеров реализуется в том случае, если идентификационный номер графического маркера соответствует одному из идентификационных номеров перечня целевых графических маркеров, сохраненного в базе данных технического обслуживания, размещенной в устройстве хранения данных (23).

При этом программное обеспечение управляющего контроллера (21) считывает относительные координаты расположения целевого графического маркера (фиг. 2, 34.1-34.4) по идентификационному номеру целевого графического маркера и сохраняет их во встроенной памяти (9) портативного терминала (1).

Далее, для формирования изображения дополненной реальности необходимо получить изображение внешнего вида объекта технического обслуживания (фиг. 2, 38-41), при этом пользователь портативного терминала (1) должен находиться возле соответствующего объекта технического обслуживания (фиг. 2, 1.3, 1.4) и данный объект должен находиться в поле зрения объектива стереокамеры (5). Полученное изображение сохраняется блоком обработки изображений со стереокамеры (13) во встроенной памяти (9) портативного терминала (1).

Портативный терминал (1) получает от управляющего контроллера (21) через интерфейс управляющего компьютера (20), беспроводной канал связи (31) и интерфейс портативного терминала (8) перечень идентификационных номеров целевых графических маркеров объектов технического обслуживания, для которых ранее были сформированы рекомендации по техническому обслуживанию целевых объектов. Блоком получения информации об объекте технического обслуживания (17) выбирается целевой объект технического обслуживания для формирования запроса и вывода на дисплей (11) портативного терминала (1) рекомендаций по техническому обслуживанию в том случае, если считанный ранее идентификационный номер целевого графического маркера соответствует одному из идентификационных номеров объектов технического обслуживания, для которых ранее были сформированы рекомендации по техническому обслуживанию целевых объектов.

После того, как целевой объект технического обслуживания выбран, блоком управления дисплеем (19) запускается процедура формирования совмещенного изображения дополненной реальности. Выполнение данной процедуры включает следующие операции:

- формирование блоком получения информации об объекте технического обслуживания (17) запроса на получение рекомендаций по техническому обслуживанию целевого объекта;

- передача запроса на получение рекомендаций по техническому обслуживанию целевого объекта управляющему контроллеру (21) посредством последовательно соединенных интерфейса портативного терминала (8), беспроводного канала связи (31) и интерфейса управляющего компьютера (20);

- получение от управляющего контроллера (21) рекомендаций по техническому обслуживанию целевого объекта через последовательно соединенные интерфейс управляющего компьютера (20), беспроводной канал связи (31), интерфейс портативного терминала (8) с последующим сохранением во встроенной памяти (9) портативного терминала (1);

- считывание из встроенной памяти (9) и форматирование блоком наложения изображения (16) текстовых рекомендаций по техническому обслуживанию целевого объекта в пригодном для совмещения изображений формате;

- совмещение блоком наложения изображения (16) основного изображения целевого объекта технического обслуживания и рекомендаций по техническому обслуживанию целевого объекта в форме элементов дополненной реальности с передачей полученного совмещенного изображения блоку управления дисплеем (19) и последующим выводом полученного совмещенного изображения на дисплей (11) портативного терминала (1).

Таким образом, заявленная система прогностического технического обслуживания с использованием технологии дополненной реальности обеспечивает оперативную регистрацию параметров объектов технического обслуживания, формирование рекомендаций по техническому обслуживанию с использованием модели машинного обучения и их предоставление обслуживающему персоналу с использованием технологии дополненной реальности, что способствует своевременному предотвращению дефектов и неисправностей объектов технического обслуживания.

Изобретение относится к вычислительным средствам контроля за технологическим оборудованием. Технический результат заявленного решения направлен на повышение точности контроля за обслуживанием оборудования, а также за перемещением персонала. Система прогностического технического обслуживания с использованием технологии дополненной реальности, включающая управляющий компьютер с экраном и со встроенным управляющим контроллером, портативный терминал со встроенным контроллером портативного терминала, соединенными с ним стереокамерой, датчиком линейного ускорения, датчиком угловой скорости, встроенной памятью, часами реального времени, дисплеем и интерфейсом портативного терминала, при этом контроллер портативного терминала включает в себя блок обработки изображений со стереокамеры, блок измерения линейного ускорения, блок измерения угловой скорости, блок наложения изображения, блок получения информации об объекте технического обслуживания, блок обработки маркеров и блок управления дисплеем, и дополнительно содержит контроллер полевого уровня, блок обработки и анализа данных, соединенный с управляющим контроллером и обеспечивающий формирование рекомендаций по техническому обслуживанию с использованием модели машинного обучения. 2 з.п. ф-лы, 2 ил.

1. Система прогностического технического обслуживания с использованием технологии дополненной реальности, включающая управляющий компьютер с экраном и со встроенным управляющим контроллером, соединенными с ним устройством хранения данных и интерфейсом управляющего компьютера, портативный терминал со встроенным контроллером портативного терминала, соединенными с ним стереокамерой, датчиком линейного ускорения, датчиком угловой скорости, встроенной памятью, часами реального времени, дисплеем и интерфейсом портативного терминала, соединенного посредством беспроводного канала связи с интерфейсом управляющего компьютера, при этом контроллер портативного терминала включает в себя блок обработки изображений со стереокамеры, блок измерения линейного ускорения, блок измерения угловой скорости, блок наложения изображения, блок получения информации об объекте технического обслуживания, блок обработки маркеров и блок управления дисплеем, отличающаяся тем, что дополнительно содержит контроллер полевого уровня, соединенный посредством сети передачи данных с управляющим контроллером и обеспечивающей циклический опрос набора датчиков, размещенных непосредственно на объектах технического обслуживания, расположенных на производственной площадке, блок обработки и анализа данных, соединенный с управляющим контроллером и обеспечивающий формирование рекомендаций по техническому обслуживанию с использованием модели машинного обучения, при этом процедура прогностического технического обслуживания, реализуемая системой прогностического технического обслуживания с использованием технологии дополненной реальности, включает следующие этапы:

– подготовительный этап;

– прогнозирование параметров объектов технического обслуживания;

– регистрация опорных и целевых графических маркеров;

– обработка опорных графических маркеров;

– обработка целевых графических маркеров;

– форматирование и вывод рекомендаций по техническому обслуживанию с использованием технологии дополненной реальности.

2. Система прогностического технического обслуживания с использованием технологии дополненной реальности по п. 1, отличающаяся тем, что этап прогнозирования параметров объектов технического обслуживания предполагает выполнение следующих операций:

– циклический опрос датчиков физических величин, непосредственно связанных с объектами технического обслуживания;

– формирование обучающей, валидационной и тестовой выборок параметров объектов технического обслуживания;

– обучение и тестирование модели машинного обучения;

– формирование массива прогнозируемых значений параметров объектов технического обслуживания для заданного промежутка времени по результатам работы модели машинного обучения;

– поиск аномальных расхождений прогнозируемых и фактических значений параметров объектов технического обслуживания;

– формирование рекомендаций по техническому обслуживанию в текстовом формате на основе предварительно заданных стандартных процедур технического обслуживания для объектов заданного типа.

3. Система прогностического технического обслуживания с использованием технологии дополненной реальности по п. 1, отличающаяся тем, что этап форматирования и вывода рекомендаций по техническому обслуживанию с использованием технологии дополненной реальности предполагает выполнение следующих операций:

– получение изображения внешнего вида объекта технического обслуживания;

– выбор целевого объекта технического обслуживания;

– формирование соответствующего запроса и получение рекомендаций по техническому обслуживанию;

– форматирование текстовых рекомендаций по техническому обслуживанию в пригодном для совмещения изображений формате;

– совмещение основного изображения целевого объекта технического обслуживания и рекомендаций по техническому обслуживанию целевого объекта в форме элементов дополненной реальности;

– вывод полученного изображения целевого объекта технического обслуживания с элементами дополненной реальности на дисплей портативного терминала, предоставляющего обслуживающему персоналу доступ к данным на уровне производственной площадки.