СИСТЕМА ПОЛУЧЕНИЯ РЕАЛИСТИЧНОЙ МОДЕЛИ МЕСТНОСТИ ДЛЯ ВИРТУАЛЬНОГО МИРА И СПОСОБ ЕЕ РАБОТЫ Российский патент 2020 года по МПК G06T15/00 

Изобретение относится к области визуализации совмещенной реальности, в частности к сбору информации об окружающей местности для получения реалистичной модели местности для виртуального мира.

Визуализация окружающей местности может служить различным целям, например, таким как исследование местности в научных целях и составление карт, в том числе в областях, где недопустимо нахождение человека, отслеживание зон возникновения пожаров и других опасных ситуаций, беспилотная доставка грузов, создание виртуальной реальности для игры и др.

Известна система получения трехмерного картографирования (патент РФ №2562368, дата публикации 10.09.2015 г.), которая содержит лазерный сканер, камеру для фотографирования местности, блок обработки сканов для получения фактической цифровой точечной трехмерной (3D) модели снимаемой территории, GPS-систему для определения координат XYZ сканерного блока, инерциальную систему для определения угловых элементов, таких как крен, курс и тангаж. При этом указанные блоки могут располагаться, в том числе, на борту воздушного средства и на крыше мобильного устройства.

Способ получения трехмерного картографирования согласно указанному патенту при воздушном лазерном сканировании заключается в том, что сканер устанавливают на борту воздушного судна, выполняют пролет вдоль картографируемой территории, в результате которого также определяют пространственные координаты по осям Ч, Х, Ж точек отражения лазерного луча от различных объектов, получают непрерывные сканы, передают их в компьютерную программу, в которой выполняют уравнивание траекторий полета и сканов, получая при этом также цифровую точечную трехмерную (3D) модель снимаемой территории. При мобильном лазерном сканировании выполняют вышеназванные действия для воздушного лазерного сканирования. При мобильном и воздушном лазерном сканировании также получают цифровые фотографии с помощью входящих в состав соответствующих систем цифровых камер. В случае мобильного и воздушного лазерного сканирования полученная в результате уравнивания точечная модель подвергается с помощью специального программного модуля дополнительной обработке с целью извлечения из фотографий реальных цветов. Каждой точке лазерного отражения пристраивается цвет по системе RGB. Точечную трехмерную (3D) модель объектов территории передают в ПЭВМ и с помощью специальной компьютерной программы получают фактическую цифровую векторную трехмерную (3D) модель объектов территории. Далее производится совмещение результатов лазерного сканирования с традиционными картами, аэрокосмическими снимками, фотографиями и т.д.

Однако для построения реалистичной модели, в которой осмотр виртуального мира происходит всегда с высоты условно одинакового уровня на высоте глаз человека применение воздушного средства является излишне затратным, а также не может считаться всепогодным в течение продолжительного времени, например, в условиях дождя или сильного мороза.

В случае установки системы получения трехмерного картографирования на крышу мобильного устройства можно отметить следующее. В рассмотренном патенте не указаны конкретные средства, входящие в состав инерциальной системы, а также способы регулирования отклонений в измеряемых координатах, что является существенным фактором, так как накопление ошибки искажает формируемую картину реальности. Кроме того, в обоих случаях не раскрывается способ получения карт местности, которые формируют путем совмещения фотоданных с результатами лазерного сканирования.

Известна робот-платформа, используемая для беспилотных исследований (патент Китая №207817530, дата публикации 04.09.2018 г.), принятая за наиболее близкий аналог к заявляемому решению по системе, представляющая собой колесное мобильное устройство, содержащее ПЭВМ, соединенную с двумя монокулярными камерами, двухмерным и трехмерным лазерным радаром, 3D-камерой, имеющей гироскоп.

Способ работы робота-платформы, принятый за наиболее близкий аналог, заключается в том, что сначала создают карту посредством радиолокационного лазерного сканирования незнакомой среды и после работают в соответствии с полученной картой.

Однако рассмотренная робот-платформа не содержит блока позицинирования для определения координат камер и лазерных радаров и не имеет привязки к конкретным координатам местности в конкретные моменты времени. Также в патенте не раскрывается способ совмещения результатов лазерного сканирования и фотографирования. Кроме того, гироскоп, соединенный с 3D-камерой, показывает угол, на который она отклоняется, что приводит к необходимости проведения дополнительных расчетов в ПЭВМ и учета ошибки в каждой точке перемещения робота. Такие процедуры являются сложными, могут привести к накоплению погрешности при построении карты местности и исказить результаты.

Техническим результатом настоящего изобретения является создание системы получения реалистичной модели местности для виртуального мира и способа ее работы, которые позволяют повысить точность составления карты окружающей местности за счет введения в состав системы двух линейных актуаторов и обеспечения постоянного горизонта до начала съемки местности, а также за счет поворота камеры с дифференциальным шагом вокруг горизонтальной оси штатива и присвоения геопозиции каждой отдельно выполненной фотографии с камеры и каждому лазерному измерению, выполненному в этой же точке.

Технический результат достигается при использовании системы получения реалистичной модели местности для виртуального мира, содержащей колесное мобильное устройство со стойкой штатива, в верхней части которой расположена горизонтальная ось, два линейных актуатора, расположенные в нижней части стойки штатива, камеру, расположенную на горизонтальной оси штатива, лазерный сканер, расположенный на стойке штатива, аппаратный блок, содержащий запоминающее устройство, двухстепенный гироскоп, GPS-приемник, блок пошагового поворота камеры вокруг горизонтальной оси штатива на заданные углы с дифференциальным шагом, блок объединения результатов фотосъемки и лазерных измерений, при этом аппаратный блок расположен на стойке штатива и соединен с камерой и лазерным сканером, два линейных актуатора выполнены независимыми друг от друга и обеспечивающими вертикальную гиростабилизацию стойки штатива за счет постоянного получения данных о фактической собственной ориентации из аппаратного блока с двухстепенными гироскопом, а записывающее устройство в аппаратном блоке содержит отдельные файлы для каждой сделанной во время съемки фотографии и каждого проведенного лазерного измерения с присвоением им геопозиции.

В частности, колесное мобильное устройство представляет собой платформу с шасси.

Технический результат также достигается при использовании способа получения реалистичной модели местности для виртуального мира, заключающегося в том, что сначала размещают мобильное колесное устройство со стойкой штатива и горизонтальной осью в позиции, где будет проводиться съемка окружающей местности, осуществляют подстройку вертикальной оси стойки штатива с помощью двух линейных актуаторов до тех пор, пока сигналы с двухстепенного гироскопа в аппаратном блоке не будут равны нулю, обеспечивая тем самым постоянный горизонт независимо от уклона местности до начала съемки, далее при пошаговом повороте камеры вокруг горизонтальной оси штатива на заданные углы с дифференциальным шагом и срабатывании лазерного сканера открывают затвор камеры в нужные моменты времени и осуществляют фотографирование окружающей местности, одновременно с этим подают импульсы на лазерный сканер и проводят лазерные измерения, данные о геопозиции, считываемые за счет наличия в аппаратном блоке GPS-приемника, присваивают каждой сделанной во время съемки фотографии и каждому проведенному лазерному измерению в этой же точке и записывают их в виде отдельных файлов на запоминающее устройство в аппаратном блоке, создают трехмерную модель отдельных объектов местности без текстур с помощью данных, полученных при лазерных измерениях, финализируют процесс подготовки реалистичной картины виртуального мира за счет объединения каждого лазерного измерения с запомненной геопозицией с фотографией в этой же точке и наложения таким образом полученной с помощью лазерного сканера трехмерной модели отдельных объектов местности без текстур и текстуры, выполненной на основе фотоданных с камеры.

Наличие двух актуаторов в нижней части штатива, работающих независимо друг от друга и обеспечивающих вертикальную гиростабилизацию стойки штатива, позволяет после каждого шага перемещения мобильного колесного устройства со штативом вдоль трассы сначала произвести подстройку оси штатива до ее абсолютно вертикального положения, обеспечив таким образом постоянный горизонт для съемки независимо от уклона местности, и только потом начать фотографирование. Поворот камеры вокруг горизонтальной оси штатива с дифференциальным шагом, срабатывание лазерного сканера и присвоение геопозиции каждой отдельной фотографии и каждому проведенному лазерному измерению в этой же точке, выполняемые после подстройки вертикальной оси штатива, позволяют минимизировать ошибку, связанную с уклоном местности и погрешностями приборов и сформировать массив данных, максимально приближенных к реальности.

На фиг. 1 показан общий вид системы получения реалистичной модели местности для виртуального мира.

На фиг. 2 изображены связанные друг с другом блоки заявляемой системы.

На фиг. 3 показан пример модели виртуального мира с текстурами.

Системы получения реалистичной модели местности для виртуального мира содержит колесное мобильное устройство 1 (например, платформу с шасси) со стойкой штатива 2 и горизонтальной осью 3, два линейных актуатора 4, расположенные в нижней части стойки штатива 2, камеру 5, расположенную на горизонтальной оси 3 штатива, лазерный сканер 6, расположенный на стойке штатива 2, аппаратный блок 7, содержащий запоминающее устройство 8, двухстепенный гироскоп 9, GPS-приемник 10, блок пошагового поворота камеры вокруг горизонтальной оси 3 штатива на заданные углы с дифференциальным шагом 11, блок объединения результатов фотосъемки и лазерных измерений 12, при этом аппаратный блок расположен на стойке штатива 2 и соединен с камерой 5 и лазерным сканером 6, два линейных актуатора 4 выполнены независимыми друг от друга и обеспечивающими вертикальную гиростабилизацию стойки штатива 2 за счет постоянного получения данных о фактической собственной ориентации из аппаратного блока 7 с двухстепенными гироскопом 9, а записывающее устройство 8 в аппаратном блоке 7 содержит отдельные файлы для каждой сделанной во время съемки фотографии и каждого проведенного лазерного измерения с присвоением им геопозиции. Для перемещения колесного мобильного устройства по местности может быть использован любой двигатель.

Способ работы системы основан на обеспечении абсолютной вертикальности оси стойки штатива 2 и постоянного горизонта в каждой точке, в которую перемещают колесное мобильное устройство 1 для съемки и лазерного сканирования еще до начала проведения работ. После подстройки вертикальной оси стойки штатива 2 при помощи двух линейных актуаторов 4, работающих независимо друг от друга и обеспечивающих вертикальную гиростабилизацию стойки штатива 2 за счет постоянного получения данных о фактической собственной ориентации из аппаратного блока 7 с двухстепенным гироскопом 8, производят согласованное открытие затвора камеры 5 в нужные моменты времени при пошаговом повороте камеры 5 вокруг горизонтальной оси 3 штатива на заданные углы с дифференциальным шагом. Одновременно с этим в этих же точках подают импульсы на лазерный сканер и проводят лазерные измерения. На каждом шаге движения мобильного колесного устройства 1 по трассе производится считывание геопозиции за счет наличия в аппаратном блоке 7 GPS-приемника 10. Данные о геопозиции присваиваются каждой сделанной во время съемки фотографии и каждому проведенному лазерному измерению в этой же точке и записываются в виде отдельных файлов на запоминающее устройство 8 в аппаратном блоке 7. Наличие такой GPS привязки позволяет верифицировать все фотографии и лазерные измерения при использовании их в дальнейшем для построениях корректной трехмерной модели и ее реалистичных текстур.

После проведения съемки и лазерных измерений в одной точке местности колесное мобильное устройство 1 перемещается в новую точку, где весь цикл по сбору данных повторяется заново.

Способ получения реалистичной модели местности для виртуального мира заключается в следующем. На первом этапе создается трехмерная модель отдельных объектов местности без текстур, получаемая при обработке данных с лазерного сканера 6, работа которого была синхронизирована с работой камеры 5. На втором этапе в аппаратном блоке 7 обрабатываются полученные с камеры 5 фотографии. Такая обработка может производиться независимо друг от друга и в разных программных продуктах. Далее в блоке объединения результатов фотосъемки и лазерных измерений 12 производится обработка двух массивов данных и финализация процесса подготовки виртуального мира, которая заключается в совмещении каждого лазерного измерения с запомненной геопозицией с фотографией в этой же точке. Таким образом, сформированная реалистичная текстура, полученная на основе фотоданных, накладывается на трехмерную модель окружающей местности без текстур, полученную с помощью лазерных измерений. В итоге, на выходе получается виртуальная трехмерная карта окружающей местности, которая максимально точно соответствует реальности (фиг. 3).

Для фотограмметрии может использоваться программные продукты компании Geoscan, а для построения трехмерной модели может быть реализовано за счет обработки результатов лазерных измерений в любом 3Д редакторе, например, в продуктах Autodesk таких как Blender или 3DsMax.

Заявленные система получения реалистичной модели местности для виртуального мира и способ ее работы позволяют повысить точность получения виртуальной картинки без дополнительных вычислений ошибки в ПЭВМ в каждой точке реальной местности. Кроме этого, заявленная система может найти широкое применение за счет невысокой стоимости при ее использовании.

Изобретение относится к области визуализации совмещенной реальности. Техническим результатом является повышение точности при составлении карты окружающей местности для виртуального мира. Система содержит колесное мобильное устройство со стойкой штатива, в верхней части которой расположена горизонтальная ось, два линейных актуатора, расположенные в нижней части стойки штатива, камеру, расположенную на горизонтальной оси штатива, лазерный сканер, расположенный на стойке штатива, аппаратный блок, содержащий запоминающее устройство, двухстепенный гироскоп, GPS-приемник, блок пошагового поворота камеры вокруг горизонтальной оси штатива на заданные углы с дифференциальным шагом, блок объединения результатов фотосъемки и лазерных измерений, при этом аппаратный блок расположен на стойке штатива и соединен с камерой и лазерным сканером, два линейных актуатора обеспечивают вертикальную гиростабилизацию стойки штатива за счет постоянного получения данных о фактической собственной ориентации из аппаратного блока с двухстепенным гироскопом, записывающее устройство в аппаратном блоке содержит отдельные файлы для каждой сделанной во время съемки фотографии и каждого проведенного лазерного измерения с присвоением им геопозиции. 2 н.п. ф-лы, 3 ил.

1. Система получения реалистичной модели местности для виртуального мира, характеризующаяся тем, что содержит колесное мобильное устройство со стойкой штатива, в верхней части которой расположена горизонтальная ось, два линейных актуатора, расположенные в нижней части стойки штатива, камеру, расположенную на горизонтальной оси штатива, лазерный сканер, расположенный на стойке штатива, аппаратный блок, содержащий запоминающее устройство, двухстепенный гироскоп, GPS-приемник, блок пошагового поворота камеры вокруг горизонтальной оси штатива на заданные углы с дифференциальным шагом, блок объединения результатов фотосъемки и лазерных измерений, при этом аппаратный блок расположен на стойке штатива и соединен с камерой и лазерным сканером, два линейных актуатора выполнены независимыми друг от друга и обеспечивающими вертикальную гиростабилизацию стойки штатива за счет постоянного получения данных о фактической собственной ориентации из аппаратного блока с двухстепенными гироскопом, а записывающее устройство в аппаратном блоке содержит отдельные файлы для каждой сделанной во время съемки фотографии и каждого проведенного лазерного измерения с присвоением им геопозиции.

2. Способ получения реалистичной модели местности для виртуального мира, заключающийся в том, что сначала размещают мобильное колесное устройство со стойкой штатива и горизонтальной осью в позиции, где будет проводиться съемка окружающей местности, осуществляют подстройку вертикальной оси стойки штатива с помощью двух линейных актуаторов до тех пор, пока сигналы с двухстепенного гироскопа в аппаратном блоке не будут равны нулю, обеспечивая тем самым постоянный горизонт независимо от уклона местности до начала съемки, далее при пошаговом повороте камеры вокруг горизонтальной оси штатива на заданные углы с дифференциальным шагом и срабатывании лазерного сканера открывают затвор камеры в нужные моменты времени и осуществляют фотографирование окружающей местности, одновременно с этим подают импульсы на лазерный сканер и проводят лазерные измерения, данные о геопозиции, считываемые за счет наличия в аппаратном блоке GPS-приемника, присваивают каждой сделанной во время съемки фотографии и каждому проведенному лазерному измерению в этой же точке и записывают их в виде отдельных файлов на запоминающее устройство в аппаратном блоке, создают трехмерную модель отдельных объектов местности без текстур с помощью данных, полученных при лазерных измерениях, финализируют процесс подготовки реалистичной картины виртуального мира за счет объединения каждого лазерного измерения с запомненной геопозицией с фотографией в этой же точке и наложения таким образом полученной с помощью лазерного сканера трехмерной модели отдельных объектов местности без текстур и текстуры, выполненной на основе фотоданных с камеры.