Комплекс программно-технических средств взаимодействия реальных и виртуальных объектов (КПТС ВРВО) Российский патент 2023 года по МПК G06F3/01 G09B19/00 G06T19/00 

Комплекс программно-технических средств взаимодействия реальных и виртуальных объектов (КПТС ВРВО) относится к тренажеростроению и может найти применение в автоматизированных системах управления и информационных системах подготовки специалистов связи, а также может быть использован в учебном процессе подразделений и учебных заведений, занимающихся подготовкой специалистов связи. КПТС ВРВО обеспечит повышение качества подготовки специалистов, кадров для частей и подразделений связи (организаций и учреждений) за счет использования современных обучающих (образовательных) инновационных методов, технологий и применения перспективных интеллектуальных и адаптивных средств обучения, разработанных на основе технологий гибридной реальности, что позволит в условиях смоделированных виртуальных сцен формировать умения и отрабатывать практические навыки, необходимые для надлежащего выполнения специалистами своих обязанностей по должностному предназначению, а также в улучшении полноты и повышении достоверности результатов контроля действий обучающихся, экипажей и подразделений при проведении полевых занятий.

Известна Автоматизированная система обучения управлению автомобилем (патент № 83645).

Известны Способ обучения и контроля вождения безрельсовых транспортных средств на учебно-тренировочном автодроме, учебное безрельсовое транспортное средство и система для реализации способа (патент № 2240600).

Известно Трекерное устройство системы виртуальной реальности (патент EP3213799A1).

Известны комплексы компании «Xsens» - поставщика продуктов 3D-захвата движения, носимых датчиков и инерциальных датчиков, основанных на миниатюрной технологии MEMS-инерциальных датчиков. https://www.xsens.com/

Известны комплексы компании «Perception Neuron». https://neuronmocap.com/products/perception_neuron.

Известен продукт компании «Rokoko» (Rokoko SmartSuit Pro) - беспроводный костюм виртуальной реальности, электронная начинка которого работает от источника питания, сопоставимого по размерам с аккумулятором смартфона. https://www.rokoko.com/products/smartgloves.

Известна Система захвата движения (патент CN106123896A).

Известна Система захвата движения, используемая для обучения (патент CN106125909A).

Известен комплекс ZOTAC «VR Go Backpack» для обеспечения автоматизированного обучения с использованием технологий виртуальной реальности. https://www.zotac.com/am/page/vr-go-backpack-pc.

Известен высокопроизводительный ранцевый компьютер HP «VR Backpack G2».

https://www.hp.com/us-en/shop/tech-takes/hp-vr-backpack-g2-review.

Аналога, прототипа изобретения в совокупности существенных признаков, которые будут иметь место и в изобретении, в открытом сегменте поиска обнаружено не было.

Комплекс программно-технических средств взаимодействия реальных и виртуальных объектов (КПТС ВРВО) обеспечивает возможности:

- формирования данных о механических перемещениях (определение местоположения), действиях обучающихся в полевых условиях, в том числе при работе на сложных объектах (аппаратных, станциях, технических системах и оборудовании);

- формирования данных об изменении положения частей тела;

- формирования данных об изменении состояния объектов военной специальной техники (ВСТ);

- формирования данных о механических перемещениях (определение местоположения) сложных объектов техники (аппаратных, станций, технических систем и оборудования) в полевых условиях;

- передачи в единую систему пространственных и временных координат сформированных данных о положении, состоянии технических (реальных и виртуальных) объектов и действиях обучаемых с целью их фиксации и формирования оценок, учитывающих полноту, качество и время выполнения тактических и тактико-специальных нормативов;

- создания естественно воспринимаемого объекта, являющегося предметом изучения;

- создания динамично управляемого объекта, позволяющего формировать представления, умения и навыки обучающегося (при этом перечень создаваемых для изучения объектов и количество одновременно обучающихся не ограничены);

- обучения групповым видам деятельности при сопряжении с другими разработками.

Технический результат заключается в обеспечении:

- моделирования сцен (помещение с оборудованием, техническими средствами, территория с объектами и др.) в единой системе визуализации и информационного взаимодействия объектов, размещенных в виртуальном пространстве и реальном мире;

- объединения в единой системе пространственных и временных координат данных о положении, состоянии технических (реальных и виртуальных) объектов и действиях обучаемых с целью их фиксации;

- отображения виртуальных объектов и комфортного взаимодействия с ними обучающегося, находящегося за автоматизированным рабочим местом (АРМ-О);

- взаимодействия обучающегося с VR-контентом АРМ учебного класса;

- создания программно-виртуальных учебно-тренировочных средств для одиночной подготовки специалистов и экипажей техники;

- создания системы контроля действий обучающихся при проведении занятий в учебном классе;

- создания системы контроля действий обучающихся и изменений состояния объектов техники, которыми они управляют, при осуществлении подготовки и слаживания экипажей (подразделений) в полевых условиях к действиям в реальной обстановке;

- тренировки действий экипажа по развертыванию объектов техники с использованием программно-виртуальных тренажеров автоматизированного рабочего места обучающегося (АРМ-О);

- управления процессом обучения (подготовки) одновременно как на виртуальных учебно-тренировочных средствах образцов техники, так и на реальных образцах техники.

Технический результат достигается тем, что комплекс программно-технических средств взаимодействия реальных и виртуальных объектов, содержащий автоматизированные рабочие места руководителя занятия и обучающегося (АРМ-О), средства визуализации и виртуализации, средства обработки и передачи информации и программное обеспечение, отличающийся тем, что автоматизированное рабочее место руководителя занятия состоит из автоматизированного рабочего места полевого (АРМ-П) и/или стационарного (АРМ-С) пункта управления комплексным занятием (ПУКЗ), а также трёхмерной модели местности района выполнения задач, построенной на основе реальной местности; средства визуализации и виртуализации включают по крайней мере один комплект средств гибридной реальности (КГР) для техники, в свою очередь содержащий по крайней мере один комплект датчиков контроля состояния объекта военной специальной техники (КГР-Т), и/или по крайней мере один комплект средств гибридной реальности (КГР) обучающегося, в свою очередь содержащий по крайней мере один комплект средств гибридной реальности КГР-О-1, состоящий из MR-шлема и комплекта взаимодействия с VR-контентом и/или по крайней мере один комплект средств гибридной реальности КГР-О-2, состоящий из MR-шлема и комплекта датчиков контроля положения обучающегося в пространстве и/или по крайней мере один комплект средств гибридной реальности КГР-О-3, содержащий комплект датчиков контроля действий обучаемого, действующего в пешем порядке; при этом через транспортную сеть гибридной реальности, образованную на основе базовой и опорных станций, АРМ-П соединяется с КГР-Т и/или КГР-О-3, а АРМ-С соединяется с АРМ-О, которое в свою очередь, соединяется с КГР-О-1, и/или с учебными классами (материалами), которые в свою очередь, соединяются с КГР-О-2; устройства (модули) системы позиционирования размещаются на опорной станции и обучаемых; обработка информации по определению координат обучаемых на открытой местности и уточнению их местоположения осуществляется на опорной станции; средства определения координат объекта на открытой местности и средства передачи информации обеспечивают фиксацию действий обучаемого (обучаемых подразделения) в порядке подразделения, изменение состояния техники на площади 500 метров в ширину и 300 метров в глубину с возможностью масштабирования системы на площади 1500 на 1000 кв. метров и наращиванием до района действий 5000 на 3000 кв. метров; скорость передачи информации (данных) на участке от комплектов гибридной реальности одиночных (КГР-О), размещаемых на обучаемых, и транспортных (КГР-Т), размещаемых на объектах ВCТ, до опорной станции (ОС) транспортной сети гибридной реальности - не менее 2 мбит/с; скорость передачи информации (данных) на участке от опорной станции до базовой станции (БС) ПУКЗ - не менее 10 мбит/с; прием данных от КГР-О и КГР-Т опорными станциями осуществляется поочередно с последующим объединением и «сжатием» пакетов от нескольких комплектов и передачей поочередно на БС; прием данных базовыми, опорными станциями может быть осуществлен несколькими приемными устройствами; данные от БС поступают на автоматизированное рабочее место руководителя занятия, где фиксируются и отображаются на трехмерной модели местности района выполнения задач, построенной на основе реальной местности.

Комплекс программно-технических средств взаимодействия реальных и виртуальных объектов в своем составе имеет:

а) автоматизированные рабочие места: руководителя занятия (АРМ-П, АРМ-С), обучающегося (АРМ-О);

б) средства визуализации и виртуализации;

- комплекты средств гибридной реальности (КГР) обучающегося;

- комплекты средств гибридной реальности для техники;

в) средства обработки и передачи информации;

г) комплект программного обеспечения (КПО).

Смоделированные с помощью комплекса программно-технических средств взаимодействия реальных и виртуальных объектов сцены (помещение с оборудованием, техническими средствами, территория с объектами и др.) в единой системе визуализации и информационного взаимодействия объектов, размещенные в виртуальном пространстве и реальном мире, обеспечивают обучающимся полную свободу действий, где они, взаимодействуя с оборудованием и инструментом, могут изучить последовательность работы в соответствии с должностными инструкциями (технологический процесс и необходимые производственные операции, запомнить расположение оборудования, порядок работы с ним и др.) и выработать необходимые умения и навыки.

Сформированные с помощью комплектов средств гибридной реальности данные о местоположении и изменении положения частей тела обучающегося, а также о положении, изменении состояния составных частей техники передаются через транспортную сеть гибридной реальности (средства обработки и передачи информации) в единую систему визуализации и информационного взаимодействия объектов, размещенных в виртуальном пространстве и реальном мире.

Действия обучающихся отображаются на трехмерной модели местности района выполнения задач, построенной на основе реальной местности, где они, взаимодействуя с оборудованием и инструментом, могут выполнять работы по развертыванию и эксплуатации объектов техники в соответствии с должностными инструкциями, выработать необходимые умения и навыки по развертыванию и эксплуатации объектов техники.

Также обеспечиваются:

- полномасштабный контроль действий обучающихся и изменения состояния объектов техники, которыми они управляют;

- возможность наблюдения, видео и аудио фиксации происходящего в условиях смоделированной виртуальной сцены с целью дальнейшего разбора действий участников процесса обучения (подготовки);

- возможность голосовой коммуникации - ведение диалога между участниками процесса подготовки в условия виртуальной сцены при их территориальной удаленности друг от друга.

На фигуре 1 представлена структурная схема Комплекса программно-технических средств взаимодействия реальных и виртуальных объектов (КПТС ВРВО), где:

1 - автоматизированное рабочее место полевого (стационарного) пункта управления комплексным занятием (АРМ-П(С) ПУКЗ), рабочее место руководителя занятия;

2 - автоматизированное рабочее место обучающегося (АРМ-О);

3 - комплекты средств гибридной реальности:

- КГР-О-1 (МR-шлем, комплект взаимодействия с VR-контентом);

- КГР-О-2 (МR-шлем, комплект датчиков контроля положения обучающегося в пространстве);

- КГР-О-3 (Комплект датчиков контроля действий обучающегося, действующего в пешем порядке), оснащение обучающихся (экипажа), эксплуатирующих объекты реальной техники;

- КГР – Т (Комплект датчиков контроля состояния объекта техники), оснащение объектов техники;

4 - транспортная сеть гибридной реальности на основе базовой и опорных станций (БС, ОС).

Автоматизированное рабочее место полевого (стационарного) пункта управления комплексным занятием (АРМ-П(С) ПУКЗ) с единой трехмерной моделью местности района выполнения задач, построенной на основе реальной местности, как рабочее место руководителя занятия предназначено для:

а) управления процессом обучения в рамках выделенного учебного времени на специальную, техническую, тактико-специальную подготовку для специалистов различных средств связи;

б) предоставления учебного материала и справочной информации на экране монитора (интерактивной доске);

в) контроля приобретения навыков обучающимися, фиксации и отображения полученных в процессе обучения ошибок;

г) контроля выполнения одиночных нормативов и учебных задач обучающимися с оценкой уровня знаний;

д) взаимодействия с автоматизированными рабочими местами обучающихся (АРМ-О) подразделения;

е) оперативного вмешательства в действия обучающихся с целью предотвращения совершаемых ими критических ошибок в работе;

ж) моделирования нештатных ситуаций в работе аппаратуры связи;

з) наблюдения, видео и аудио фиксации происходящего в условиях смоделированной виртуальной сцены с целью дальнейшего разбора действий участников процесса обучения (подготовки);

и) записи выполняемых действий обучающихся в электронный журнал;

к) просмотра содержимого электронного журнала.

Автоматизированное рабочее место обучающегося (АРМ-О) предназначено для организации процесса обучения личного состава экипажей аппаратных (станций) в следующих режимах функционирования:

а) индивидуальная и групповая подготовка (в рамках проведения занятий по специальной и технической подготовке);

б) подготовка в составе экипажа (в рамках проведения занятий по тактико-специальной подготовке);

в) подготовка в составе узла связи (в рамках проведения занятий по тактико-специальной подготовке).

Подготовка специалистов осуществляется по одной группе родственных специальностей и имеет в своем составе комплекс программных, программно-виртуальных учебно-тренировочных средств, относящихся к этой группе специальностей.

Комплекты средств гибридной реальности включают:

а) КГР-О-1 (МR-шлем, комплект взаимодействия с VR-контентом) -предназначен для обеспечения отображения виртуальных объектов и комфортного взаимодействия с ними обучающегося, находящегося за АРМ-О, и обеспечивает:

- подготовку к работе объекта техники;

- настройку средств связи;

- обеспечение связи во взаимодействии друг с другом;

- использование реальных АРМ на основе ПЭВМ для выполнения учебных задач и средств передачи информации на рабочее место руководителя занятия;

- возможность наблюдения, видео и аудио фиксации происходящего в условиях смоделированной виртуальной сцены с целью дальнейшего разбора действий участников процесса обучения (подготовки);

б) КГР-О-2 (МR-шлем, комплект датчиков контроля положения обучающегося в пространстве) - предназначен для тренировки действий (приобретение умений и навыков) экипажа по развертыванию объекта техники с использованием программно-виртуальных тренажеров и обеспечивает:

- полномасштабный контроль действий обучающихся при осуществлении их одиночной и групповой подготовки в учебном классе;

- возможность видео и аудио фиксации происходящего в условиях смоделированной виртуальной сцены с целью дальнейшего разбора действий участников процесса обучения (подготовки);

- возможность голосовой коммуникации - ведение диалога между участниками процесса подготовки в условия виртуальной сцены при их территориальной удаленности друг от друга;

в) КГР-О-3 (Комплект датчиков контроля действий обучающегося, действующего в пешем порядке) - предназначен для оснащения обучающихся (экипажа), эксплуатирующих объекты реальной техники и обеспечивает:

- трекинг (отслеживание изменения положения) обучающегося, который осуществляется инерциальным методом относительно нулевой точки без использования вспомогательных систем;

- позиционирование обучающегося на местности с точностью не ниже 50 см при помощи ГЛОНАСС (GPS) и базовой корректирующей станции;

- адекватность оценки позиции объектов за счет двойного резервирования систем навигации и контроля действий объекта с использованием мажоритарного принципа оценки показателей;

- коррекцию положения за счет временно статичных объектов сети (опорных станций, базовых станций и т.п. объектов, не изменяющих положение не менее 10 минут);

г) КГР – Т (Комплект датчиков контроля состояния объекта техники) - предназначен для оснащения объектов техники и обеспечивает:

- полномасштабный контроль изменения состояния объектов техники, которыми управляют обучающиеся (экипажи); обучающиеся, взаимодействуя с оборудованием и инструментом, могут выполнять работы по развертыванию и эксплуатации объектов техники в соответствии с должностными инструкциями (технологический процесс, необходимые производственные операции, порядок работы с оборудованием и т.д.), вырабатывать необходимые умения и навыки;

- возможность видео и аудио фиксации происходящего в условиях смоделированной виртуальной обстановки (сцены) с целью дальнейшего разбора действий участников процесса обучения (подготовки).

Транспортная сеть гибридной реальности содержит базовую и опорные станции (БС, ОС), предназначенные для приема, обработки и передачи данных гибридной реальности, информации в едином виртуально-информационном пространстве с заданной надежностью.

Комплект программного обеспечения (КПО) обеспечивает функционирование составных частей изделия в соответствии с требованиями заказчика.

Устройства (модули) системы позиционирования (получение адекватной оценки позиции обучающихся, объектов) размещаются на опорной станции и обучающихся. Обработка информации по определению координат обучающихся на открытой местности и уточнению их местоположения осуществляется на опорной станции.

Средства определения координат объекта на открытой местности и средства передачи информации должны обеспечивать фиксацию действий обучаемого (обучаемых подразделения) в порядке подразделения, изменения состояния техники на площади 500 метров в ширину и 300 метров в глубину с возможностью масштабирования системы на площади 1500 на 1000 метров и наращиванием до района действий 5000 на 3000 метров.

Передача информации (данных) не может быть реализована с использованием существующей транспортной сети (системы связи) подразделений, так как она сама является объектом контроля.

Функционирование системы:

- скорость передачи информации (данных) на участке от комплектов гибридной реальности одиночных (КГР-О), размещаемых на обучающихся, и транспортных (КГР-Т), размещаемых на объектах техники, до опорной станции (ОС) транспортной сети гибридной реальности - не менее 2 мбит/с;

- скорость передачи информации (данных) на участке от опорной станции до базовой станции (БС) пункта управления комплексным занятием (ПУКЗ) - не менее 10 мбит/с;

- прием данных от КГР-О и КГР-Т опорными станциями осуществляется поочередно с последующим объединением и «сжатием» пакетов от нескольких комплектов и передачей поочередно на базовую станцию;

- прием данных базовыми, опорными станциями может осуществляться несколькими приемными устройствами;

- данные от базовых станций поступают на АРМ-П (С) ПУКЗ) (рабочее место руководителя занятия), где фиксируются и отображаются на трехмерной модели местности района выполнения задач, построенной на основе реальной местности.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении моделирования сцен в единой системе визуализации и информационного взаимодействия объектов, размещенных в виртуальном пространстве и реальном мире. Комплекс программно-технических средств взаимодействия реальных и виртуальных объектов содержит автоматизированные рабочие места руководителя занятия и обучающегося, средства визуализации и виртуализации и средства обработки и передачи информации, соединенные через транспортную сеть гибридной реальности, образованную на основе базовой и опорных станций, а также программное обеспечение. 1 ил.

Комплекс программно-технических средств взаимодействия реальных и виртуальных объектов, содержащий автоматизированные рабочие места руководителя занятия и обучающегося (АРМ-О), средства визуализации и виртуализации, средства обработки и передачи информации и программное обеспечение, отличающийся тем, что автоматизированное рабочее место руководителя занятия состоит из автоматизированного рабочего места полевого (АРМ-П) и/или стационарного (АРМ-С) пункта управления комплексным занятием (ПУКЗ), а также трёхмерной модели местности района выполнения задач, построенной на основе реальной местности; средства визуализации и виртуализации включают по крайней мере один комплект средств гибридной реальности (КГР) для техники, в свою очередь содержащий по крайней мере один комплект датчиков контроля состояния объекта военной специальной техники (КГР-Т), и/или по крайней мере один комплект средств гибридной реальности (КГР) обучающегося, в свою очередь содержащий по крайней мере один комплект средств гибридной реальности КГР-О-1, состоящий из MR-шлема и комплекта взаимодействия с VR-контентом, и/или по крайней мере один комплект средств гибридной реальности КГР-О-2, состоящий из MR-шлема и комплекта датчиков контроля положения обучающегося в пространстве, и/или по крайней мере один комплект средств гибридной реальности КГР-О-3, содержащий комплект датчиков контроля действий обучаемого, действующего в пешем порядке; при этом через транспортную сеть гибридной реальности, образованную на основе базовой и опорных станций, АРМ-П соединяется с КГР-Т и/или КГР-О-3, а АРМ-С соединяется с АРМ-О, которое в свою очередь соединяется с КГР-О-1, и/или с учебными классами (материалами), которые в свою очередь соединяются с КГР-О-2; устройства (модули) системы позиционирования размещаются на опорной станции и обучаемых; обработка информации по определению координат обучаемых на открытой местности и уточнению их местоположения осуществляется на опорной станции; средства определения координат объекта на открытой местности и средства передачи информации обеспечивают фиксацию действий обучаемого (обучаемых подразделения) в порядке подразделения, изменение состояния техники на площади 500 метров в ширину и 300 метров в глубину с возможностью масштабирования системы на площади 1500 на 1000 кв. метров и наращиванием до района действий 5000 на 3000 кв. метров; скорость передачи информации (данных) на участке от комплектов гибридной реальности одиночных (КГР-О), размещаемых на обучаемых, и транспортных (КГР-Т), размещаемых на объектах ВCТ, до опорной станции (ОС) транспортной сети гибридной реальности - не менее 2 мбит/с; скорость передачи информации (данных) на участке от опорной станции до базовой станции (БС) ПУКЗ - не менее 10 мбит/с; прием данных от КГР-О и КГР-Т опорными станциями осуществляется поочередно с последующим объединением и «сжатием» пакетов от нескольких комплектов и передачей поочередно на БС; прием данных базовыми, опорными станциями может быть осуществлен несколькими приемными устройствами; данные от БС поступают на автоматизированное рабочее место руководителя занятия, где фиксируются и отображаются на трехмерной модели местности района выполнения задач, построенной на основе реальной местности.