СПОСОБ ФОРМИРОВАНИЯ СРЕДЫ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ Российский патент 2020 года по МПК G06F3/01 G08G5/00 G06T13/40 

Уровень техники

Наиболее близким по технической сущности является способ реализации системы для управления множеством беспилотных транспортных средств, заключающийся в управлении положением множества беспилотных транспортных средств со встроенными камерами, передаче в кабину виртуальной реальности удалённого пользователя полученных с помощью встроенных камер изображений, визуализации полученных изображений, формирование дополнительного контента, соответствующего полученным изображениям.

Известная система может быть использована для визуализации событий или изображений, формирующих среду виртуальной реальности для удалённого пользователя с применением беспилотных управляемых транспортных средств.

Ещё одним недостатком известного решения является недостаточная в ряде случаев надёжность работы, обусловленная ограничениями параметров захваченного изображения, не позволяющими безопасно управлять беспилотным транспортным средством в сложных условиях недостаточной видимости препятствий.

Техническим результатом является повышение информативности полученных данных, обеспечение возможности взаимодействия с другими пользователя во время сеанса связи с беспилотным транспортным средством и повышение надёжности и безопасности работы системы.

Раскрытие изобретения

На фиг. 1 схематично показан пример воплощения способа формирования среды дополненной реальности, на Фиг. 2 - структурная схема системы, построенной для реализации способа формирования среды виртуальной реальности с использованием сервера,

На чертежах сделаны следующие обозначения: 1 – беспилотное транспортное средство, 2 – встроенная камера, 3 – средства отображения пользователя, 4 - средства управления беспилотным транспортным средством, 5 – техническое оборудование пользователя, 6 - изображение, захваченное видеокамерой беспилотного транспортного средства и выведенное на средства отображения пользователя, 7 – второй пользователь, 8 – пространственная модель пользователя, 9 – изображение, визуализированное средствами дополненной реальности второго пользователя, включающее захваченное его камерой изображение, поверх которого отображена пространственная модель пользователя. 10 – приёмник команд, 11 – исполнительные органы, 13 – средства позиционирования, 14 – измерительный датчик, 15 – ретранслятор, 16 – локальные средства связи, 17 – сервер, 18 – Интернет, 19 – средства вычисления пользователя, 20 – камера второго пользователя, 21 – средства визуализации второго пользователя, 22 – средства вычисления второго пользователя, 23 – средства аудиосвязи, 24 – средства дополненной реальности второго пользователя.

Способ формирования среды дополненной реальности заключается в том, что осуществляют управление положением беспилотного транспортного средства, оснащённого встроенной камерой, с помощью соответствующих средств управления пользователя, определяют координаты положения беспилотного транспортного средства, передают сигналы захваченного изображения камеры на средства отображения пользователя для визуализации, визуализируют с помощью средств формирования дополненной реальности второго пользователя захваченное его камерой изображение, поверх которого выводят пространственную модель пользователя, движение элементов которой и положение в пространстве формируют на основе данных позиционирования беспилотного транспортного средства и направления камеры, а также обеспечивают обмен голосовых и/или текстовых сообщений между пользователем и, по меньшей мере, одним вторым пользователем в реальном времени.

Модель пользователя формируют либо с помощью вычислительных средств пользователя и передают её для визуализации в реальном времени на средства формирования дополненной реальности второго пользователя, либо с помощью вычислительных средств второго пользователя.

При этом беспилотным транспортным средством является беспилотный летательный аппарат и/или беспилотное наземное транспортное средство, и/или беспилотное надводное транспортное средство, и/или беспилотное подводное транспортное средство, и/или беспилотный космический аппарат.

Реализация способа формирования среды дополненной реальности допускает оснащение беспилотного транспортного средства помимо камеры также измерительными датчиками, скалибрированными с камерой, такими как ИК датчик, радар, эхолот или датчик напряженности электрического поля. В этом случае помимо захваченного изображения с камеры на вычислительные средства пользователя передаются сигналы теплового или радиолокационного изображения, или изображения, сформированного отраженными звуковыми сигналами или сигналы измерения напряженности электрического поля, соответственно. Полученные с выхода соответствующего датчика сигналы, при известности координат беспилотного транспортного средства обеспечивают не только возможность визуализации поверхности распределения измеренной величины вместе с изображением захваченным камерой, но и сформировать и отобразить пространственную модель измеренной величины при условии измерения из разных ракурсов.

Средства отображения пользователя в конкретном варианте реализации, в котором отображают пространственную модель, исследуемого с помощью беспилотного транспортного средства района, или пространственную модель измеренной величины, представляют собой средства формирования виртуальной реальности, например, шлем виртуальной реальности.

Способ формирования среды дополненной реальности работает следующим образом.

Пользователь с помощью средств управления беспилотным транспортным средством осуществляет запуск и управление движением беспилотного транспортного средства. Встроенная на беспилотном транспортном средстве камера захватывает изображение, которое по радиоканалу, с помощью средств мобильной связи, например, Wi-Fi, GPRS или других, передают на вход средств отображения в месте нахождения пользователя, удалённого от управляемого им беспилотного транспортного средства.

Определяют координаты положения беспилотного транспортного средства в реальном времени с помощью средств глобального или локального позиционирования, в предпочтительном варианте с использованием спутниковой системы GPS или ГЛОНАСС. Для позиционирования могут быть использованы также и другие системы, например, с использованием сотовой сети, по методу COO, АОА, либо иные. Передают данные о координатах беспилотного транспортного средства на средства вычисления пользователя, где формируют подвижную пространственную модель пользователя на основе созданной заранее и сохраняемой в памяти пространственной модели пользователя, позволяющей перемещение её элементов, например, поворот головы и/или корпуса, движение конечностей и пр. и визуализацию, в зависимости от позиционирования беспилотного транспортного средства в кадре захваченного камерой второго пользователя изображения, то есть на основании координат беспилотного транспортного средства, положения его камер, координат второго пользователя и угла поворота его камеры. Данные о сформированной подвижной модели передают через сервер для визуализации на средства формирования дополненной реальности второго пользователя.

Подвижная пространственная модель пользователя может также быть сформирована с помощью средств вычисления второго пользователя на основе полученных данных о координатах беспилотного транспортного средства, направления камеры и сохраняемых в памяти данных, необходимых для визуализации пространственной модели.

Если данные пространственной модели пользователя хранятся в памяти средств формирования дополненной реальности второго пользователя, то в конкретной реализации изобретения положение подвижной модели на визуализируемом изображении определяют путём обнаружения беспилотного транспортного средства на кадре захваченного камерой второго пользователя изображения, определения его координат и относительных размеров в кадре, определяющих расстояние между вторым пользователем и беспилотным транспортным средством и затем заменой части изображения, содержащего беспилотное транспортное средство на изображение подвижной модели пользователя. При этом такую замену осуществляют в масштабе, соответствующем дальности между вторым пользователем и беспилотным транспортным средством.

Подвижная пространственная модель пользователя представляет собой анимированную картинку, содержащую изображение пользователя, движение губ которого соответствует звукам формируемых им голосовых сообщений, направление тела – направлению движения беспилотного транспортного средства, направление поворота головы – углу поворота камеры беспилотного транспортного средства, движения рук и ног - перемещению беспилотного транспортного средства в конкретный момент времени. Таким образом, наличие подвижной модели обеспечивает создание иллюзии присутствия пользователя рядом со вторым пользователем.

Во время сеанса связи пользователя с беспилотным транспортным средством второй пользователь, снабжённый средствами визуализации дополненной реальности, находится вблизи или на расстоянии видимости от беспилотного летательного аппарата, что позволяет ему формулировать пояснения и комментарии относительно перемещения беспилотного транспортного средства, в том числе пояснять попавшие в поле зрения объекты или предупреждать о возможных угрозах в перемещении беспилотного транспортного средства в конкретном направлении.

Обмен голосовыми или текстовыми сообщениями обеспечивает возможность взаимодействия пользователя со вторым или со вторыми пользователями, то есть с другими пользователями во время сеанса связи с беспилотным транспортным средством.

Возможность второго пользователя, получающего изображение исследуемого района с другого ракурса, предупреждать о возможных опасностях в перемещении беспилотного транспортного средства повышает надёжность и безопасность реализации способа.

Средства формирования дополненной реальности второго пользователя обеспечивают визуализацию захваченного его камерой изображения и пространственной модели пользователя, отображаемой поверх захваченного изображения, а также приём и воспроизведение в реальном времени голосовых сообщений пользователя, а также передачу пользователю сигналов собственных голосовых сообщений.

Предпочтительный вариант устройства для реализации способа формирования среды дополненной реальности содержит четыре основных узла: техническое оборудование пользователя, средства формирования дополненной реальности второго пользователя, беспилотное транспортное средство, беспроводные средства связи, включая ретранслятор команд локальных средств связи.

Техническое оборудование пользователя включает средства управления беспилотным транспортным средством, средства вычисления, обеспечивающие формирование пространственной модели. и средства отображения, полученного от камеры беспилотного транспортного средства изображения, которыми в конкретной реализации могут быть средства дополненной реальности.

Средства формирования дополненной реальности могут быть выполнены, например, в виде очков дополненной реальности или шлема виртуальной реальности, и включают камеру, средства визуализации, средства вычисления и средства аудиосвязи.

Беспилотное транспортное средство, представляющее собой беспилотный летательный аппарат, и/или беспилотное наземное транспортное средство, и/или беспилотное надводное транспортное средство, и/или беспилотное подводное транспортное средство, и/или беспилотный космический аппарат, включает камеру, соединённую посредством беспроводной связи со средствами вычисления пользователя и исполнительные органы беспилотного транспортного средства, представляющие собой двигатели, рули, регуляторы и пр., соединённые с соответствующим приёмником радиосигналов команд управления.

Средства беспроводной связи включают средства распространения сигналов через Интернет, сервер и ретранслятор команд локальных средств связи. Средства беспроводной связи выполнены в рамках стандартов Wi-Fi или стандартов GPRS или LTE, или иного аналогичного.

В конкретном воплощении способа устройство для его реализации может не включать ретранслятор команд локальных средств связи. В этом случае команды управление беспилотным транспортным средством поступают через модем с использованием Wi-Fi или GPRS или LTE и пр.

Устройство для реализации способа формирования среды дополненной реальности работает следующим образом.

Сигналы захваченного изображения с камеры беспилотного транспортного средства, управляемого пользователем, поступают по беспроводной линии связи на сервер, откуда посредством сети Интернет подаются на вход средств отображения для визуализации.

Через сервер, ретранслятор команд и приёмник на исполнительные органы беспилотного транспортного средства подаются команды управления, формируемые пользователем с помощью средств управления беспилотным транспортным средством.

Подвижная пространственная модель пользователя формируется с помощью соответствующих программных средств, установленных на средствах вычисления пользователя, и передаётся для визуализации на средства формирования дополненной реальности второго пользователя.

В другом варианте реализации подвижная пространственная модель формируется средствами дополненной реальности второго пользователя, работающими под управлением соответствующих программных средств. Исходными данными для формирования подвижной пространственной модели являются данные самой модели, а также данные позиционирования беспилотного транспортного средства, направление его камеры, данные позиционирования второго пользователя и направление его камеры.

Посредством средств аудио связи, предполагающих связь средств отображения пользователя и средств дополненной реальности второго пользователя через сервер, пользователи имеют возможность обмена голосовыми сообщениями.

Помимо камеры беспилотное транспортное средство может быть снабжено ИК датчиком или датчиком напряжённости электрического поля, или радаром, или эхолотом. В этом случае сигналы с выхода датчика передаются через сервер на вычислительные средства пользователя, где с учётом данных позиционирования беспилотного транспортного средства обеспечивается взаимная привязка изображения, созданное сигналами измерительного датчика и созданной ранее, сохраняемой в памяти пространственной модели исследуемого района. Указанная пространственная модель района подаётся на средства отображения пользователя и обеспечивает визуализацию осматриваемого с помощью беспилотного транспортного средства в условиях затруднений в получении изображения с камеры, например, в условиях плохой видимости.

Пример 1

Задача пользователя состоит в инспекционном осмотре промышленного объекта с помощью беспилотного транспортного средства.

Технические средства пользователя, находящегося в удалении от промышленного объекта позволяют осуществлять управление беспилотным гироскутером и установленными на нём видеокамерами. На гироскутере установлены две видеокамеры, обеспечивающие формирование трёхмерного изображения объектов окружающего пространства. Беспилотный гироскутер оснащён также GPS приёмником.

Пользователь управляет беспилотным гироскутером посредством передачи сигналов команд через сеть Интернет на ретранслятор и далее на приёмник радиосигналов команд и на исполнительные органы гироскутера.

Пользователь получает изображение, захваченное камерами, которое выводят на устройство отображения, в качестве которого могут быть использованы дисплей или очки дополненной реальности, или шлем виртуальной реальности и т.п.

Инспекционный осмотр сопровождает второй пользователь – работник местного предприятия, снабжённый очками дополненной реальности с встроенной камерой, микрофоном и средствами воспроизведения звука.

Во время сессии осмотра вычислительные средства пользователя обеспечивают формирование подвижной модели пользователя на основе данных позиционирования гироскутера и направления камер. Данные сформированной подвижной модели пользователя передаются через сервер на средства дополненной реальности второго пользователя для визуализации.

Второй пользователь имеет возможность наблюдать захваченное его камерой изображение осматриваемого района, а также пространственную модель пользователя – инспектора, положение которой на изображении соответствует взаимному положению в пространстве гироскутера и второго пользователя, а также направлению камеры второго пользователя, при этом направление головы пространственной модели пользователя соответствует направлению камер гироскутера.

В процессе осмотра района пользователь может задавать вопросы второму пользователю, который имеет возможность отвечать на вопросы, сопровождая полученный пользователем видеоряд дополнительной информацией, например, о параметрах функционирования попавшего в поле зрение оборудования. Кроме того, второй пользователь имеет возможность давать советы относительно направления движения беспилотного гироскутера, предотвращая наезд на препятствия и другие аварийные ситуации.

Взаимная коммуникация между пользователем и вторым пользователем относительно попавшего в поле зрения камеры беспилотного транспортного средства повышает информативность реализации способа.

Если беспилотное транспортное средство уходит из поля зрения камеры второго пользователя, то изображение пространственной модели также исчезает с захваченного изображения, так, что беспилотное транспортное средство является маркером для визуализации пространственной модели пользователя.

Таким образом, для второго пользователя создаётся иллюзия присутствия пользователя и возможность взаимного общения усиливает этот эффект присутствия пользователя рядом со вторым пользователем.

Пример 2

Задача пользователя состоит в проведении экскурсионного тура в образовательных целях для учащихся по архитектурному комплексу с помощью беспилотного транспортного средства.

Технические средства пользователя, находящегося в удалении от промышленного объекта позволяют осуществлять управление беспилотным летательным аппаратом - квадрокоптером и установленными на нём видеокамерами и GPS приёмником.

Техническую поддержку полёта квадрокоптера осуществляет локальный оператор, обеспечивающий подготовку полёта, в том числе зарядку аккумуляторов или заправку аппарата топливом на месте. При этом управление направлением полёта и его длительность в пределах установленных лимитов, определяемых зарядом аккумуляторов и дальностью локальной радиосвязи, осуществляет сам удалённый пользователь посредством передачи сигналов команд через Интернет на ретранслятор и далее на приёмник радиосигналов команд и на исполнительные органы квадрокоптера.

Пользователь получает изображение, захваченное камерами квадрокоптера, которое выводят на устройство отображения, в качестве которого могут быть использованы дисплей или очки дополненной реальности, или шлем виртуальной реальности и т.п.

Средства вычисления формируют подвижную пространственную модель пользователя на основе полученных координат квадрокоптера и направления его камеры. Сформированная пространственная модель пользователя передаётся в реальном времени на сервер.

Один или более вторых пользователей, для которых проводится экскурсионный тур имеют очки дополненной реальности, на которые поступает и визуализируется изображение с камеры очков дополненной реальности и пространственная модель пользователя, проводящего экскурсию и делающего необходимые пояснения. При этом положение визуализируемой подвижной пространственной модели пользователя на средствах дополненной реальности вторых пользователей вычисляют на основе координат и направления камеры соответствующего второго пользователя его средствами дополненной реальности.

Один или более вторых пользователей имеют возможность в процессе экскурсионного тура задавать вопросы и получать ответы в реальном времени. При этом обмен сообщений между пользователем и вторыми пользователями осуществляется в режиме конференции, то есть вторые пользователи слышат сообщения друг друга.

Пример 3

После промышленной аварии на территории, где остаются очаги тления и задымления необходимо провести спасательные и восстановительные работы.

Пользователь, осуществляет запуск беспилотный летательный аппарат (БПЛА) над территорией, где произошла авария. БПЛА снабжён камерой, GPS и ИК датчиком.

Территория аварии характеризуется плохой видимостью и имеет опасные для нахождения там человека места, о которых заранее неизвестно. Опасности, могут представлять собой тлеющие перекрытия, невидимые в дыму колодцы и пр. Использование камеры в таких условиях неэффективно.

Однако ранее уже была создана и может быть визуализирована средствами визуализации пользователя пространственная модель указанной территории.

Пользователь, имея перед глазами пространственную модель территории, управляет полётом БПЛА, при этом он имеет возможность получать данные ИК датчиков из разных точек в процессе полёта БПЛА, обеспечивая информацией второго пользователя о скрытых опасностях или о наличии живых существ под завалами, остающихся не видимыми для его ракурса.

Пример 4

Задачей пользователя является построение плана или трёхмерной модели подводного объекта. Беспилотным транспортным средством является лодка, снабжённая камерой и эхолотом. Второй пользователь сопровождает лодку под водой и снабжён шлемом дополненной реальности.

Ввиду низкой прозрачности водной среды важное значение приобретают сигналы эхолота, позволяющие получить развёрнутое изображение подводного объекта.

Второй пользователь получает изображение с выхода его камеры и подвижную модель пользователя в месте нахождения на кадре лотки.

Элементы исследуемого объекта в местах отсутствия видимости проявляются на изображении, полученном с помощью отражённых сигналов эхолота, и пользователь не имеет возможность идентифицировать элемент или его материал. По его просьбе второй пользователь приближается к исследуемому элементы и идентифицирует его на месте, сообщая результаты пользователю. Пользователь в свою очередь, получая голосовые сообщения второго пользователя, имеет возможность отмечать, например, соответствующей текстурой видимые, только с помощью эхолота элементы объекта и таким образом уточнять план или сроить пространственную модель исследуемого объекта.

В результате реализации способа формируют трёхмерную текстурированную модель подводного объекта.

Оценивая таким образом окружающую второго пользователя обстановку пользователь имеет возможность давать советы по прокладке оптимального с точки зрения безопасности или эффективности маршрута.

Способ формирования среды дополненной реальности может быть реализован с использованием стандартных приборов и вычислительных средств, включая беспилотные транспортные средства, приборы дистанционного радиоуправления, вычислительные средства на основе процессора, видеокамеры и пр.

Способ формирования среды дополненной реальности обеспечивает более высокую информативность полученных данных, возможность взаимодействия с другими пользователями во время сеанса связи с беспилотным транспортным средством и более надёжен и безопасен в реализации.

Изобретение относится к компьютерной обработке данных, а именно к способам формирования среды дополненной реальности, и содержит следующие шаги: управление положением беспилотного транспортного средства со встроенной камерой, определение координат положения беспилотного транспортного средства, передаче захваченного изображения камеры на средства отображения пользователя для визуализации, обмен сообщениями в реальном времени между пользователем и, по меньшей мере, одним вторым пользователем, снабжённым средствами визуализации дополненной реальности, визуализации изображения с помощью средств формирования дополненной реальности, визуализации пространственной модели пользователя. Техническим результатом является возможность взаимодействия с другими пользователя во время сеанса связи с беспилотным транспортным средством. 10 з.п. ф-лы, 4 пр., 2 ил.

1. Способ формирования среды дополненной реальности, содержащий следующие шаги:

управление положением беспилотного транспортного средства со встроенной камерой,

определение координат положения беспилотного транспортного средства, передачу захваченного изображения камеры на средства отображения пользователя для визуализации,

обмен сообщениями в реальном времени между пользователем и, по меньшей мере, одним вторым пользователем, находящимся на расстоянии видимости от беспилотного транспортного средства и снабжённым средствами визуализации дополненной реальности,

визуализации изображения, захваченного камерой второго пользователя с помощью средств формирования дополненной реальности второго пользователя,

визуализации пространственной модели пользователя, при этом положение пространственной модели на визуализируемом изображении соответствует положению беспилотного транспортного средства на захваченном изображении с камеры второго пользователя, причем

движение губ пространственной модели пользователя соответствует звукам, формируемым им голосовых сообщений, направление тела – направлению движения беспилотного транспортного средства, направление поворота головы – углу поворота камеры беспилотного транспортного средства, движения рук и ног - перемещению беспилотного транспортного средства в конкретный момент времени.

2. Способ по п. 1, отличающийся тем, что беспилотным транспортным средством является беспилотный летательный аппарат, и/или беспилотное наземное транспортное средство, и/или беспилотное надводное транспортное средство, и/или беспилотное подводное транспортное средство, и/или беспилотный космический аппарат.

3. Способ по п. 1, отличающийся тем, что формируют модель пользователя с помощью вычислительных средств пользователя и передают её для визуализации в реальном времени на средства формирования дополненной реальности второго пользователя.

4. Способ по п. 1, отличающийся тем, что формируют модель пользователя с помощью вычислительных средств второго пользователя для визуализации с помощью его средств формирования дополненной реальности.

5. Способ по п. 1, отличающийся тем, что положение пространственной модели пользователя определяют на основе данных о координатах беспилотного транспортного средства и направления его камеры.

6. Способ по п. 1, отличающийся тем, что обеспечивают обмен голосовых и/или текстовых сообщений между пользователем и, по меньшей мере, одним вторым пользователем.

7. Способ по п. 1, отличающийся тем, что управление положением беспилотного транспортного средства производится с помощью соответствующих средств управления пользователя.

8. Способ по п. 1, отличающийся тем, что беспилотное транспортное средство также оснащено измерительными датчиками, скалибрированными с камерой.

9. Способ по п. 8, отличающийся тем, что измерительные датчики включают один или более из ИК датчик, радар, эхолот и датчик напряженности электрического поля.

10. Способ по п. 1, отличающийся тем, что пространственная модель пользователя представляет собой анимированную картинку, содержащую изображение пользователя.

11. Способ по п. 1, отличающийся тем, что средства формирования дополненной реальности включают очки дополненной реальности или шлем виртуальной реальности.