СПОСОБ И СИСТЕМА СБОРА ИНФОРМАЦИИ ДЛЯ УСТРОЙСТВА СОВМЕЩЕННОЙ РЕАЛЬНОСТИ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ Российский патент 2019 года по МПК G06T15/08 G06F3/346 G06T7/70 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к области обработки цифровых данных, в частности, к способу и системе сбора информации для устройств совмещенной реальности в режиме реального времени.

УРОВЕНЬ ТЕХНИКИ

Совмещенная реальность (mixed reality), иногда называемая гибридной, смешанная реальность или дополненной виртуальностью, представляет из себя смешение реальной и виртуальной реальностей, когда правдоподобные виртуальные объекты накладываются на привычную нам окружающую среду. При этом глубина погружения у виртуальной реальности выше, чем у дополненной реальности, которая не меняет человеческого виденья окружающего мира и его восприятия, а лишь дополняет реальный мир искусственными элементами и новой информацией. Совмещенная реальность не уводит нас из реального мира, а дополняет реальный мир сведениями, образами и звуками, хранящимися внутри информационных систем, при этом в совмещенной реальности имеется точка взаимодействия реального и виртуального мира

Устройства совмещенной реальности направлены на то, чтобы привнести в наш обыденный мир кусочек виртуальности и обеспечить взаимодействие с цифровыми элементами, как если бы они были реальными объектами. Человек может свободно передвигаться в пространстве, не боясь налететь на реальные объекты или упасть с виртуальной лестницы. Естественным применением систем совмещенной реальности является средство «улучшения» реального мира, т.е. виртуальное прототипирование, когда мы расширяем реальный мир объектами, которые мы бы хотели там видеть, но по ряду причин, например, затраты на изготовление, мы не можем туда их поместить. Это особенно актуально при работах, связанных с проектированием, когда в имеющееся пространство надо оптимальным образом вписать новые объекты. Например, можно выбрать и расставить мебель в пустом помещении, провести анализ архитектурного проекта, представить вариант ландшафтного дизайна и т.п. Так же по технологии совмещенной реальности система имеет возможности сопоставить реальный и виртуальный объект и вывести какую-либо подсказку на реальный объект, не отображая при этом полностью или частично виртуальный объект.

Совмещенная реальность находит свое применение в совершенно разных сферах нашей жизни:

Строительство – Визуализация трехмерных чертежей непосредственно на строительной площадке, производить план-фактный анализ строящихся и построенных объектов, выводить виртуальные подсказки на уже существующие объекты.

Военное дело - Проведение боевых тренировок в различных условиях местности. При этом не надо будет никуда специально летать. Также имеются широкие возможности для операторов боевой техники.

Спорт - Виртуальные объекты раскрывают совершенно новый подход к спортивным тренировкам, а носимые гаджеты позволяют отображать физическое состояние спортсменов.

Игры - Игры для смешанной реальности без сомнений открывают совершенно новый рынок в области геймдева.

Медицина - Смешанная реальность позволит гораздо надежнее и безопаснее проводить обследования и сложные хирургические операции.

Ритейл - Продажи товаров он-лайн перейдут на новый уровень с возможностями “пощупать” в 3D модели приобретаемые вещи.

Также прогнозируют огромное влияние смешанной реальности и на другие сферы, такие как образование, архитектура, бизнес коммуникации.

Существуют решения в области виртуальной реальности, в которых посредством шлема виртуальной реальности пользователю предоставляются лишь изображения из памяти компьютера.

Существуют решения в области дополненной реальности, в которых пользователь видит дополнительные изображения, накладываемые на изображения реального мира без привязки к географическому местоположению объектов реального мира.

Существуют решения в области совмещенной реальности, в которых изображения виртуальной реальности привязываются к географическим координатам реального мира, что дополнительно повышает реалистичность изображений виртуальной реальности и дает больше возможностей взаимодействия с ней.

Известно решение (US2014210947A1, опубл. 31.07.2014), в котором описывается процесс формирования дополненной реальности с использованием координатной геометрии. Варианты осуществления этого изобретения включают способ, систему и мобильное устройство, которые включают технологию дополненной реальности в наземную съемку, 3D лазерное сканирование и процессы цифрового моделирования. Используя технологию дополненной реальности, мобильное устройство может отображать изображение дополненной реальности, представляющее реальный вид физической структуры в реальной среде, и трехмерную цифровую модель непостроенного элемента дизайна, наложенного поверх физической структуры в ее предполагаемом месте постройки. В одном варианте осуществления маркер может быть размещен в заданном наборе координат на или вокруг интересующего места, определяемого с помощью геодезического оборудования, так чтобы трехмерная цифровая модель непостроенного элемента дизайна могла быть визуализирована в геометрически правильной ориентации относительно физической структуры. Варианты осуществления этого решения могут также применяться к уменьшенному трехмерному напечатанному объекту, представляющему физическую структуру, если посещение места проекта невозможно.

Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для ориентации устройства формирования дополненного изображения в пространстве.

Известно решение (US2014270477A1, опубл. 18.09.2014), в котором описываются системы и способы отображения трехмерной модели из фотограммметрического сканирования. В одном из вариантов предлагается компьютерно-реализованный способ для отображения трехмерной (3D) модели из фотограметрического сканирования. Изображение объекта и маркер сканирования могут быть получены в первом месте. Может быть определена взаимосвязь между изображением объекта и изображением маркера сканирования в первом местоположении. Геометрическое свойство объекта может быть определено на основе соотношения между изображением объекта и изображением маркера сканирования. 3D-модель объекта может быть сгенерирована на основе определенного геометрического свойства объекта. Трехмерная модель объекта может отображаться для масштабирования в среде дополненной реальности во втором местоположении на основе маркера сканирования во втором местоположении.

Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для формирования дополненного изображения.

Известно решение (US2016104323A1, опубл. 14.04.2016), в котором описываются устройство дляотображения изображения и способ для отображения изображения. Согласно одному варианту осуществления устройство для отображения изображения включает в себя модуль сбора данных и модуль обработки отображения. Модуль сбора данных сконфигурирован для получения принятого изображения, которое получено камерой, и которое включает в себя оптический код распознавания, представляющий идентификационную информацию, посредством формирования множества элементов в форме линии. Модуль обработки отображения сконфигурирован для наложения и отображения изображения трехмерного объекта, соответствующего идентификационной информации, на полученном изображении. Ориентация изображения трехмерного объекта, наложенного и отображаемого на снятом изображении, определяется на основе ориентации кода оптического распознавания на снятом изображении и наклона камеры.

Однако в данном решении для построения изображения необходимо размещать идентификационную информацию.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное техническое решение, является создание компьютерно-реализуемого способа и системы сбора информации для устройства совмещенной реальности в режиме реального времени, которые охарактеризованы в независимых пунктах формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.

Технический результат заключается в повышение точности отображения совмещенной реальности.

В предпочтительном варианте реализации заявлен компьютерно-реализуемый способ сбора информации для устройства совмещенной реальности в режиме реального времени, заключающийся в выполнении этапов, с помощью вычислительного устройства, на которых:

• захватывают с помощью по меньшей мере одной камеры изображения реального мира в широком диапазоне углов;

• сканируют пространство реального мира для определения габаритов и расположения объектов реального мира;

• определяют данные о местоположении и ориентации устройства совмещенной реальности в пространстве;

• осуществляют отслеживание и трехмерное распознавание жестов рук в реальном времени для определения где именно объекты находятся в пространстве относительно отслеживаемой руки;

• сохраняют данные захваченных изображений реального мира, данные габаритов и расположения объектов реального мира, данные местоположения и ориентации блока сбора информации, данные отслеживания и распознавания жестов рук в блоке памяти устройства совмещенной реальности;

• обрабатывают сохраненную информацию и проецируют посредством встроенных мини проекторов на голографический экран устройства совмещённой реальности, который осуществляет слияние виртуальной и дополненной реальностей для получения совмещенной реальности.

В частном варианте отслеживание и распознавание жестов рук осуществляется с использованием алгоритма машинного обучения.

В другом частном варианте дополнительно захватывают аудиоданные.

В другом частном варианте устройство совмещенной реальности представляет собой шлем, планшет или очки.

В другом частном варианте камера может быть стереоскопической камерой и/или камерой с эффектом глубины для машинного зрения и/или распознавания жестов.

В другом частном варианте дополнительно собирают данные от инерциальной навигационной системы для дополнительного определения данных о местоположении устройства совмещенной реальности.

Заявленное решение также осуществляется за счет системы сбора информации для устройства совмещенной реальности, в режиме реального времени. Это система включает в себя:

- устройство совмещенной реальности, которое содержит:

• по меньшей одну камеру, выполненную с возможностью фиксации изображения реального мира в широком диапазоне углов;

• встроенные мини проекторы;

• голографических экран;

• блок сканирования пространства реального мира;

• блок позиционирования;

• вычислительное устройство, выполненное с возможностью выполнения описанного выше способа.

В другом частном варианте реализации система дополнительно включает инерциальную навигационную систему для дополнительного определения данных о местоположении устройства совмещенной реальности, при этом инерциальная навигационная система основана на гироскопах и акселерометрах.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1 иллюстрирует компьютерно-реализуемый способ сбора информации для устройства совмещенной реальности в режиме реального времени;

Фиг. 2 иллюстрирует схему определения местоположения пользователя;

Фиг. 3 иллюстрирует пример общей схемы компьютерного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Настоящее изобретение направлено на обеспечение компьютерно-реализуемого способа и системы сбора информации для устройства совмещенной реальности в режиме реального времени.

Как представлено на Фиг. 1, заявленный компьютерно-реализуемый способ сбора информации для устройства совмещенной реальности в режиме реального времени (100) реализован следующим образом:

На этапе (101) захватывают с помощью по меньшей мере одной камеры изображения реального мира в широком диапазоне углов. Камера может быть стереоскопической камерой и/или камерой с эффектом глубины для машинного зрения и/или распознавания жестов.

Минимальный диапазон углов захвата изображений составляет 30 градусов.

Далее на этапе (102) сканируют пространство реального мира для определения габаритов и расположения объектов реального мира. При этом, блок сканирования пространства реального мира может быть выполнен в виде средства ультразвукового, оптического или лазерного сканирования.

На этапе (103) определяют данные о местоположении и ориентации устройства совмещенной реальности в пространстве.

Для построения изображений совмещенной реальности необходимо определить местоположение пользователя, посредством определения местоположения устройства совмещенной реальности, который он надел.

При это, устройством совмещенной реальности может быть, как шлем, планшет, так и очки, которые являются полностью автономными устройствами, работающими от батареи. Но при этом они дополнительно могут быть подключены к компьютеру или планшету.

Определение местоположения устройства совмещенной реальности в пространстве возможно при помощи GPS, Глонас, однако точность в таком случае может составлять около 6-8 метров, что недопустимо для большинства приложений.

Общим недостатком использования любой радионавигационной системы является то, что при определённых условиях сигнал может не доходить до приёмника, или приходить со значительными искажениями или задержками. Например, практически невозможно определить своё точное местонахождение в глубине квартиры внутри железобетонного здания, в подвале или в тоннеле даже профессиональными геодезическими приёмниками. Так как рабочая частота GPS/Глонас лежит в дециметровом диапазоне радиоволн, уровень сигнала от спутников может серьёзно снизиться под плотной листвой деревьев или из-за очень большой облачности. Нормальному приёму сигналов GPS/Глонас могут повредить помехи от многих наземных радиоисточников, а также от магнитных бурь.

Кроме методов на основе GPS/Глонас, существует ряд методов определения местоположения более подходящих для реализации в помещении, часть из которых представлена ниже:

Определение местоположения по сотовым сетям – точность оставляет желать лучшего даже в районах с высокой плотностью базовых станций.

Определение местоположения с помощью инерциальных систем, где используется модель движения человека: если мы знаем, где были, в какую сторону и как быстро двигались, то можно рассчитать, где мы оказались через некоторое время. Сейчас это достигается с помощью гироскопов, акселерометров, датчика Холла или иных подходящих средств.

Определение местоположения с помощью оптических систем, которые основаны на предварительном сканировании помещения, а потом по картинке, например, потолка c фронтальной камеры смартфона, возможно определение местоположения.

Определение местоположения с помощью магнитометрии – определения местоположения по магнитному полю с помощью компаса смартфона. Решение требует предварительной калибровки в помещении и сильно подвержено влиянию металла и магнитов.

Определение местоположения на основе трилатерации на базе Wi-Fi/Bluetooth передатчиков. Для реализации применяется распространённое оборудование, как для инфраструктуры, так и для определения местоположения. Также существует возможность использования уже развернутых Wi-Fi/Bluetooth сетей.

Радиокарта или “цифровые отпечатки” сигналов Wi-Fi/Bluetooth – местоположение вычисляется путем сравнения измеряемых в реальном времени мощностей сигнала от окружающих Wi-Fi/BLE точек с заранее измеренными значениями, привязанными к карте помещения.

Для повышения точности определения местоположения устройства совмещенной реальности в пространстве было предложено размещать в реальном пространстве, где предполагается формировать изображения совмещенной реальности, станции, передающие радиосигналы (как изображено на фиг.2). Используя радиосигналы этих станций, расположенных в заранее известных координатах, методом трилатерации можно с высокой точностью определять местоположение приемника. Для осуществления этого подхода необходимо по меньшей мере три передатчика, сигнал от которых уверенно принимается приемником.

В заявленном решении используется система радиолокации на основе сверхширокополосных сигналов для определения точного местоположения пользователя в реальном пространстве, а также инерциальная навигационная система для определения ориентации пользователя (система indoor-определения местоположения). В результате использования двух этих систем можно получить информацию о местоположении и ориентации пользователя в реальном пространстве, что позволяет разместить объекты виртуальной реальности, имеющие географическую привязку, с минимальной погрешностью, достаточной для использования последних в качестве ориентира при выполнении, например, строительных работ.

Также ниже рассматриваются варианты осуществления, в которых объединены возможности определения местоположения различных методов. Такие решения обеспечивают приемлемое качество для точного совмещения изображений реального мира и изображений виртуальной реальности.

В предложенном решении аппаратное и программное обеспечение для реализации функциональности по определению местоположения установлено в устройства совмещенной реальности в пространстве, которое содержит по меньшей мере одну камеру, выполненную с возможностью фиксации изображения реального мира в широком диапазоне углов (предпочтительно стереоскопическую камеру) вокруг пользователя, который надел это устройство совмещенной реальности.

В целом аппаратное и программное обеспечение для определения местоположения является стандартным и широко известным в уровне техники, особенности, отличающие его от известных реализаций, будут описаны отдельно. В целом, устройство совмещенной реальности выполнено с возможностью определять свое местоположение при помощи блока GPS/Глонас определения местоположения и/или блока indoor-определения местоположения, с возможностью получения изображений с камеры, передачи всех данных на блок обработки, с возможностью предоставления обработанных данных (данных совмещенной реальности) пользователю.

На этапе (104) осуществляют отслеживание и трехмерное распознавание жестов рук в реальном времени для определения, где именно объекты находятся в пространстве относительно отслеживаемой руки. Система отслеживания рук основана на компьютерном зрении и работает с помощью самооптимизирующегося алгоритма машинного обучения.

Далее на этапе (105) сохраняют данные захваченных изображений реального мира, данные габаритов и расположения объектов реального мира, данные местоположения и ориентации блока сбора информации, данные отслеживания и распознавания жестов рук в блоке памяти устройства совмещенной реальности.

На этапе (106) обрабатывают сохраненную информацию и проецируют посредством встроенных мини проекторов на голографический экран устройства совмещённой реальности, который осуществляет слияние виртуальной и дополненной реальностей для получения совмещенной реальности. Виртуальная 3D голограмма формируется посредством встроенных мини проекторов. Способ визуализации может быть любой, на данном этапе развития техники имеются: проекционное построение изображения, изображение LCD, TFT, IPS, AMOLED, P-OLED, QLED.

После чего отправляют совмещенную реальность в глаза пользователю.

Устройство совмещённой реальности может быть оснащено двумя динамика, - таким образом, к звукам внешнего мира добавляется и озвучка проекции. Или возможно применение технологии костной проводимости для передачи звука.

Кроме того, в устройстве совмещённой реальности может быть реализована функция отслеживание направление взгляда пользователя, а именно, система отслеживает положение зрачков человека. В результате чего можно перемещать курсор по направлению взгляда. А голограмма, на которую направлен курсор будет подсвечиваться. А также откалибровать систему визуализации под глаза пользователя.

Информация о положении зрачков человека позволяет определить направления взгляда, выделить объект, на который смотрит человек, и синтезировать изображения с правильной вергенцией на выбранный объект. В результате, информация о положении зрачков человека может помочь формированию изображения с правильной аккомодацией и тем самым обеспечить максимально комфортные условия восприятия виртуального изображения, неотличимого от изображения реального мира.

В отличии от шлемов виртуальной реальности, в заявленном решении устройство совмещённой реальности позволяет пользователю одновременно оставаться и в реальном мире, сохраняя с ним всю полноту взаимодействия.

Голографические проекции, создаваемые устройством совмещённой реальности, обладают трехмерностью, что позволяет обойти виртуальный объект со всех сторон, рассмотреть и увеличить его детали, посмотреть, как он вписывается в реальность, что открывает безграничные возможности для различных видов 3D моделирования.

На Фиг. 3 далее будет представлена общая схема вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну память (302), средство хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).

Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функциональности одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).

Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки транзакционных запросов (логов), идентификаторов пользователей и т.п.

Интерфейсы (304) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (304) зависит от конкретного исполнения устройства (300), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук, облачное пространство и т.п.

В качестве средств В/В данных (305) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Помимо неё, также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (306) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (305) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (300) сопряжены посредством общей шины передачи данных (310).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к вычислительной технике. Технический результат − повышение точности отображения совмещенной реальности. Способ сбора информации для устройства совмещенной реальности в режиме реального времени, заключающийся в выполнении этапов с помощью вычислительного устройства, на которых захватывают с помощью камеры изображения реального мира в широком диапазоне углов; сканируют пространство реального мира для определения габаритов и расположения объектов реального мира; определяют данные о местоположении и ориентации устройства совмещенной реальности в пространстве; осуществляют отслеживание и трехмерное распознавание жестов рук в реальном времени для определения, где именно объекты находятся в пространстве относительно отслеживаемой руки; сохраняют полученные данные в блоке памяти устройства совмещенной реальности; обрабатывают сохраненную информацию и проецируют посредством встроенных мини-проекторов на голографический экран устройства совмещённой реальности, который осуществляет слияние виртуальной и дополненной реальностей для получения совмещенной реальности. 2 н. и 6 з.п. ф-лы, 3 ил.

1. Cпособ сбора информации для устройства совмещенной реальности в режиме реального времени, заключающийся в выполнении этапов с помощью вычислительного устройства, на которых:

захватывают с помощью по меньшей мере одной камеры изображения реального мира в широком диапазоне углов;

сканируют пространство реального мира для определения габаритов и расположения объектов реального мира;

определяют данные о местоположении и ориентации устройства совмещенной реальности в пространстве;

осуществляют отслеживание и трехмерное распознавание жестов рук в реальном времени для определения, где именно объекты находятся в пространстве относительно отслеживаемой руки;

сохраняют данные захваченных изображений реального мира, данные габаритов и расположения объектов реального мира, данные местоположения и ориентации блока сбора информации, данные отслеживания и распознавания жестов рук в блоке памяти устройства совмещенной реальности;

обрабатывают сохраненную информацию и проецируют посредством встроенных мини-проекторов на голографический экран устройства совмещённой реальности, который осуществляет слияние виртуальной и дополненной реальностей для получения совмещенной реальности.

2. Способ по п. 1, характеризующийся тем, что отслеживание и распознавание жестов рук осуществляется с использованием алгоритма машинного обучения.

3. Способ по п. 1, характеризующийся тем, что дополнительно захватывают аудиоданные.

4. Способ по п. 1, характеризующийся тем, что устройство совмещенной реальности представляет собой шлем, планшет или очки.

5. Способ по п. 1, характеризующийся тем, что камера может быть стереоскопической камерой и/или камерой с эффектом глубины для машинного зрения и/или распознавания жестов.

6. Способ по п. 1, характеризующийся тем, что дополнительно собирают данные от инерциальной навигационной системы для дополнительного определения данных о местоположении устройства совмещенной реальности.

7. Система сбора информации для устройства совмещенной реальности в режиме реального времени, содержащая:

устройство совмещенной реальности, которое содержит:

по меньшей одну камеру, выполненную с возможностью фиксации изображения реального мира в широком диапазоне углов;

встроенные мини-проекторы;

голографический экран;

блок сканирования пространства реального мира;

блок позиционирования;

вычислительное устройство, выполненное с возможностью выполнения способа по любому из пп. 1-6.

8. Система по п. 7, характеризующаяся тем, что дополнительно включает инерциальную навигационную систему для дополнительного определения данных о местоположении устройства совмещенной реальности, при этом инерциальная навигационная система основана на гироскопах и акселерометрах.