Комплект средств гибридной реальности Российский патент 2023 года по МПК G09B9/00 G09B19/10 G06F3/00 

Комплект средств гибридной реальности относится к тренажёростроению и может найти применение в автоматизированных системах управления и информационных системах подготовки специалистов связи, а также может быть использован в учебном процессе подразделений и учебных заведений, занимающихся подготовкой специалистов связи. При этом повышается качество подготовки специалистов, кадров для частей и подразделений связи (организаций и учреждений) за счет использования современных обучающих (образовательных) инновационных методов, технологий и применения перспективных интеллектуальных и адаптивных средств обучения, разработанных на основе технологий гибридной реальности, что позволит в условиях смоделированных виртуальных сцен формировать умения и отрабатывать практические навыки, необходимые для надлежащего выполнения специалистами своих обязанностей по должностному предназначению, а также в улучшении полноты и повышении достоверности результатов контроля действий обучающихся, экипажей в ходе учебных занятий.

Известен комплекс ZOTAC «VR Go Backpack» для обеспечения автоматизированного обучения с использованием технологий виртуальной реальности. VR Go представляет собой первый полноценный прототип компьютера-рюкзака для работы со шлемами виртуальной реальности. https://www.zotac.com/am/page/vr-go-backpack-pc.

Известен высокопроизводительный ранцевый компьютер  HP «VR Backpack G2».

https://www.hp.com/us-en/shop/tech-takes/hp-vr-backpack-g2-review.

Недостатки данных комплексов заключаются в следующем:

- определение расположения объекта в пространстве ограничено только положением и поворотом головы и рук;

- требует выполнения подготовительных работ по оборудованию помещения (установка базовых станций);

- полностью неотечественная технология.

Наиболее близким по технической сущности к заявленному изобретению является Имитатор космических условий на основе виртуальной реальности (патент № 173655). Полезная модель относится к имитации космических условий, а именно к имитаторам космических условий на основе виртуальной реальности, включающий в себя шлем виртуальной реальности, соединенный с вычислительным модулем, который соединен с датчиками движения рук тренирующегося, размещаемых на тренирующемся, и может использоваться для тренировки работы космонавтов в условиях космоса. Согласно полезной модели шлем виртуальной реальности, вычислительный модуль и датчики движения рук тренирующегося закреплены в скафандре, выполняющего функцию единого корпуса, на котором также размещены соединенные с вычислительным модулем источник питания и датчики положения конечностей. Достигаемый технический результат – расширение функциональных возможностей имитатора при обеспечении большей глубины имитации.

Комплект средств гибридной реальности обеспечивает возможности:

- моделирования сцен (помещение с оборудованием, техническими средствами, территория с объектами и др.) в единой системе визуализации и информационного взаимодействия объектов, размещенных в виртуальном пространстве;

- тренировки действий экипажа по развертыванию объектов техники с использованием программно-виртуальных тренажеров автоматизированного рабочего места обучающегося (АРМ-О);

- объединения в единой системе пространственных и временных координат данных о положении, состоянии технических (реальных и виртуальных) объектов и действиях обучающихся по их управлению с целью их фиксации, а именно:

а) формирования данных о механических перемещениях (определение местоположения) обучающихся;

б) формирования данных об изменении положения частей тела;

в) передачи сформированных данных на комплект средств виртуализации;

- взаимодействия обучающихся с VR-контентом в учебном классе;

- создания программно-виртуальных учебно-тренировочных средств для одиночной подготовки и подготовки экипажей техники, обеспечивающих:

а) создание естественно воспринимаемого объекта, являющегося предметом изучения;

б) создание динамично управляемого объекта, позволяющего формировать представления, умения и навыки обучающегося, при этом перечень создаваемых для изучения объектов и количество одновременно обучающихся не ограничены;

в) возможность обучения групповым видам деятельности при сопряжении с другими разработками.

Технический результат заключается в обеспечении:

- применения операционной системы Astra Linux SE, Linux – подобных;

- обработки аудиосигнала;

- трансляции реального мира;

- работы со сторонним ПО, не разработанным для данного устройства;

- контроля действий обучающихся при проведении занятий;

- управления процессом обучения (подготовки) одновременно на всех виртуальных учебно-тренировочных средствах образцов техники.

Технический результат достигается тем, что комплект средств гибридной реальности содержит блок сбора, обработки и моделирования сцен, комплект формирования смешанной реальности MR-шлем, комплект датчиков контроля положения объекта в пространстве (9 датчиков), перчатки (2 шт.) и комплект программного обеспечения (КПО), отличающийся тем, что блок сбора, обработки данных и моделирования сцен, также содержащий в своем составе датчик положения спины, выполнен с возможностью сбора данных от MR-шлема, датчиков положения и перчаток и вычисления математической модели и моделирования интерактивной модели сцены и передачи интерактивной информации на MR-шлем; комплект формирования смешанной реальности MR-шлем выполнен с возможностью определения положения головы при ее повороте и передачи полученных данных на устройство сбора с фиксированной частотой по установленному каналу и получения и отображения интерактивной информации с блока сбора, обработки данных и моделирования сцен; комплект датчиков контроля положения объекта, содержащий датчик положения плечевой кости левой руки, датчик положения локтевой кости левой руки, датчик положения бедренной кости левой ноги, датчик положения берцовой кости левой ноги, датчик положения бедренной кости правой ноги, датчик положения берцовой кости правой ноги, датчик положения плечевой кости правой руки и датчик положения локтевой кости правой руки, выполнен с возможностью осуществления сбора состояния датчиков с перчатки и вычисления локального поворота костей и передачи данных на устройство сбора с фиксированной частотой по установленному каналу; перчатки выполнены с возможностью сбора данных с кнопок и передачи состояния на устройство сбора по установленному каналу, при этом связь между блоком сбора, обработки данных и моделирования сцен и датчиком положения плечевой кости левой руки, датчиком положения бедренной кости левой ноги, датчиком положения бедренной кости правой ноги, датчиком положения плечевой кости правой руки осуществляется по Wi-Fi, или Bluetooth, или проводному каналу, а связь между датчиком положения плечевой кости левой руки и датчиком положения локтевой кости левой руки, датчиком положения локтевой кости левой руки и перчаткой левой руки, датчиком положения бедренной кости левой ноги и датчиком положения берцовой кости левой ноги, блоком сбора, обработки данных и моделирования сцен и MR-шлемом, датчиком положения бедренной кости правой ноги и датчиком положения берцовой кости правой ноги, датчиком положения плечевой кости правой руки и датчиком положения локтевой кости правой руки, датчиком положения локтевой кости правой руки и перчаткой правой руки осуществляется по проводному каналу.

Смоделированные с помощью комплекса программно-технических средств автоматизированного рабочего места обучаемого и сцены (помещение, специальная техника с оборудованием и техническими средствами, территория с объектами и др.) в единой системе визуализации и информационного взаимодействия объектов, размещенные в виртуальном пространстве и реальном мире, обеспечивают обучающимся полную свободу действий, где они, взаимодействуя с оборудованием и инструментом, могут изучить последовательность работы в соответствии с должностными инструкциями (технологический процесс и необходимые производственные операции), запомнить расположение оборудования, порядок работы с ним, выработать необходимые умения и навыки.

Также обеспечиваются:

- полномасштабный контроль действий обучающихся при осуществлении их одиночной и групповой подготовки в учебном классе;

- возможность видео и аудио фиксации происходящего в условиях смоделированной виртуальной сцены с целью дальнейшего разбора действий участников процесса обучения (подготовки);

- возможность голосовой коммуникации - ведение диалога между участниками процесса подготовки в условия виртуальной сцены при их территориальной удаленности друг от друга.

На фигуре 1 представлена структурная схема комплекта средств гибридной реальности, где:

1 - блок сбора (в состав входит датчик положения спины), обработки данных и моделирования сцен;

2 - датчик положения плечевой кости левой руки;

3 - датчик положения локтевой кости левой руки;

4 - датчик положения бедренной кости левой ноги;

5 - датчик положения берцовой кости левой ноги;

6 - датчик положения бедренной кости правой ноги;

7 - датчик положения берцовой кости правой ноги;

8 - датчик положения плечевой кости правой руки;

9 - датчик положения локтевой кости правой руки;

10 – MR-шлем;

11 - перчатка левой руки;

12 - перчатка правой руки.

Связь между блоками 1 и 2, 1 и 4, 1 и 6, 1 и 8 осуществляется по Wi-Fi/Bluetooth/проводному каналу.

Связь между блоками 2 и 3, 3 и 11, 4 и 5, 1 и 10, 6 и 7, 8 и 9, 9 и 12 осуществляется по проводному каналу.

Передача информации в устройство сбора может осуществляться по Wi-Fi, Bluetooth и проводному каналу, зависит от требований, предъявляемых заказчиком. Датчики (9 шт.) контроля располагаются по одному на середине костей: плечевых (2 шт.), локтевых (2 шт.), бедренных (2 шт.), большеберцовых (2 шт.) и пояснице (1 шт.). Датчики осуществляют вычисление локального поворота костей. Поворот головы определяется с помощью MR-шлема. Переданные данные загружаются в математическую скелетную модель человека, которая выдает глобальное позиционирование костей, результат накладывается на 3D модель человека и отображается на моделируемой сцене. При наличии сетевой синхронизации отображаются 3D модели других комплектов. Взаимодействие с объектами сцены осуществляется с помощью перчаток.

На фигуре 2 представлен алгоритм работы (функциональная схема) комплекта средств гибридной реальности, где:

1 - блок сбора (в состав входит датчик положения спины), обработки данных и моделирования сцен;

2 - датчик положения плечевой кости левой руки;

3 - датчик положения локтевой кости левой руки;

4 - датчик положения бедренной кости левой ноги;

5 - датчик положения берцовой кости левой ноги;

6 - датчик положения бедренной кости правой ноги;

7 - датчик положения берцовой кости правой ноги;

8 - датчик положения плечевой кости правой руки;

9 - датчик положения локтевой кости правой руки;

10 - MR-шлем;

11 - перчатка левой руки;

12 - перчатка правой руки.

Связь между блоками 1 и 2, 1 и 4, 1 и 6, 1 и 8 осуществляется по Wi-Fi/Bluetooth/проводному каналу.

Связь между блоками 2 и 3, 3 и 11, 4 и 5, 1 и 10, 6 и 7, 8 и 9, 9 и 12 осуществляется по проводному каналу.

Для облегчения и минимизации размера датчики положения объединены в группы (левая рука, правая рука, левая нога и правая нога), что позволяет равномерно распределить элементы питания и уменьшить количество приемопередатчиков при работе по радиоканалу.

Датчики положения выполняют функции:

- сбора данных с гироскопа и акселерометра;

- сбора состояния датчиков с перчатки;

- вычисления угла поворота на основе данных гироскопа и акселерометра;

- передачи данных (угол поворота и состояние перчаток) на устройство сбора с фиксированной частотой (передаются при подключении к устройству сбора) по установленному каналу.

Перчатки выполняют функции:

- сбора данных с кнопок;

- передачи состояния на устройство сбора по установленному каналу.

MR- шлем выполняет функции:

- сбора данных с гироскопа и акселерометра;

- передачи данных (угол поворота) на устройство сбора с фиксированной частотой (передаются при подключении к устройству сбора) по установленному каналу.

- получения и отображения интерактивной информации с блока сбора, обработки данных и моделирования сцен.

Блок сбора, обработки данных и моделирования сцен выполняет функции:

- сбора данных от MR- шлема (данные в блок поступают по USB кабелю в формализованном пакете);

- вычисления математической модели (осуществляется в следующей последовательности: данные угла поворота, полученные с MR-шлема, передают по сети в 3D движок на связанные элементы 3D модели для определения локального угла поворота; далее по внутренним алгоритмам 3D движка происходит анимация поворота);

- передачи интерактивной информации на MR-шлем (осуществляется по HDMI кабелю).

Комплект программного обеспечения (КПО) обеспечивает функционирование составных частей изделия в соответствии с требованиями заказчика.

Комплект средств гибридной реальности относится к тренажёростроению и может найти применение в автоматизированных системах управления и информационных системах подготовки специалистов связи, а также может быть использован в учебном процессе подразделений и учебных заведений, занимающихся подготовкой специалистов связи. Комплект средств гибридной реальности содержит блок сбора, обработки и моделирования сцен, комплект формирования смешанной реальности MR-шлем, комплект датчиков контроля положения объекта в пространстве, перчатки и комплект программного обеспечения (КПО). Блок сбора, обработки данных и моделирования сцен содержит датчик положения спины, выполнен с возможностью сбора данных от MR-шлема, датчиков положения и перчаток и вычисления математической модели и моделирования интерактивной модели сцены. Комплект формирования смешанной реальности MR-шлем выполнен с возможностью определения положения головы при ее повороте и передачи полученных данных на устройство сбора. Комплект датчиков контроля положения объекта содержит датчики положения плечевой и локтевой кости рук, датчики положения бедренной и берцовой кости ног. Расширяется функциональная возможность средств гибридной реальности. 2 ил.

Комплект средств гибридной реальности содержит блок сбора, обработки и моделирования сцен, комплект формирования смешанной реальности MR-шлем, комплект датчиков контроля положения объекта в пространстве, перчатки и комплект программного обеспечения (КПО), отличающийся тем, что блок сбора, обработки данных и моделирования сцен, также содержащий в своем составе датчик положения спины, выполнен с возможностью сбора данных от MR-шлема, датчиков положения и перчаток и вычисления математической модели и моделирования интерактивной модели сцены и передачи интерактивной информации на MR-шлем; комплект формирования смешанной реальности MR-шлем выполнен с возможностью определения положения головы при ее повороте и передачи полученных данных на устройство сбора с фиксированной частотой по установленному каналу и получения и отображения интерактивной информации с блока сбора, обработки данных и моделирования сцен; комплект датчиков контроля положения объекта, содержащий датчик положения плечевой кости левой руки, датчик положения локтевой кости левой руки, датчик положения бедренной кости левой ноги, датчик положения берцовой кости левой ноги, датчик положения бедренной кости правой ноги, датчик положения берцовой кости правой ноги, датчик положения плечевой кости правой руки и датчик положения локтевой кости правой руки, выполнен с возможностью осуществления сбора состояния датчиков с перчатки и вычисления локального поворота костей и передачи данных на устройство сбора с фиксированной частотой по установленному каналу; перчатки выполнены с возможностью сбора данных с кнопок и передачи состояния на устройство сбора по установленному каналу, при этом связь между блоком сбора, обработки данных и моделирования сцен и датчиком положения плечевой кости левой руки, датчиком положения бедренной кости левой ноги, датчиком положения бедренной кости правой ноги, датчиком положения плечевой кости правой руки осуществляется по Wi-Fi или Bluetooth, или проводному каналу, а связь между датчиком положения плечевой кости левой руки и датчиком положения локтевой кости левой руки, датчиком положения локтевой кости левой руки и перчаткой левой руки, датчиком положения бедренной кости левой ноги и датчиком положения берцовой кости левой ноги, блоком сбора, обработки данных и моделирования сцен и MR-шлемом, датчиком положения бедренной кости правой ноги и датчиком положения берцовой кости правой ноги, датчиком положения плечевой кости правой руки и датчиком положения локтевой кости правой руки, датчиком положения локтевой кости правой руки и перчаткой правой руки осуществляется по проводному каналу.