СПОСОБ ВОЗДЕЙСТВИЯ НА ВИРТУАЛЬНЫЕ ОБЪЕКТЫ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ Российский патент 2017 года по МПК G06F3/48 

Область техники, к которой относится изобретение

Данное изобретение относится к способам воздействия на виртуальные объекты дополненной реальности, при которых определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.

В данной работе используются следующие термины.

Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.

Точка интереса (характерная точка) - точка изображения, обладающая высокой локальной информативностью. В качестве численной меры информативности предлагаются различные формальные критерии, называемые операторами интереса. Оператор интереса должен обеспечивать достаточно точное позиционирование точки в плоскости снимка. Необходимо также, чтобы положение точки интереса обладало достаточной устойчивостью к фотометрическим и геометрическим искажениям изображения, включающим неравномерные изменения яркости, сдвиг, поворот, изменение масштаба, ракурсные искажения.

Фильтр Калмана - эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений.

Пирамиды изображений - это коллекция изображений, получаемая из исходного изображения путем его последовательного сжимания, пока не достигнута точка останова (естественно, конечной точкой может быть один пиксель).

(англ. smartphone - умный телефон) - телефон, дополненный функциональностью карманного персонального компьютера.

Уровень техники

В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров.

Известен способ воздействия на виртуальные объекты дополненной реальности, при котором определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, см. описание к патенту РФ на изобретение №2451982 от 27.05.2012.

Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения как способа.

Недостатком этого прототипа является то, что взаимодействие с виртуальными объектами производится при помощи отдельного устройства, именно оно и определяет положение в пространстве пользователя и необходимость реагирования путем на изменение положения пользователя. А простое изменение положения в пространстве устройства для создания и просмотра дополненной реальности не приводит к изменению виртуального объекта, кроме изменения его ориентации на дисплее устройства.

Раскрытие изобретения

Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ воздействия на виртуальные объекты дополненной реальности, при котором определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно обеспечение дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства, что и является поставленной технический задачей.

Для достижения этой цели определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства, располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности, вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени, формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.

Благодаря данным выгодным характеристикам появляется возможность обеспечения дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства. Это происходит вследствие того, что становится возможным точное определение положения устройства для создания и просмотра дополненной реальности, включая направление, в котором оно находится. И именно в этом направлении и становится возможным выполнять заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.

Отметим, что вектор может быть задан любым образом, не только направлением, а также и тремя координатами, одной или несколькими координатами и одним или несколькими углами, полярными координатами, углами Эйлера, кватернионами.

Существует вариант изобретения, в котором формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.

Благодаря данной выгодной характеристике появляется возможность рассчитывать направление, в котором находится устройство для создания и просмотра дополненной реальности в режиме реального времени и в каждый следующий момент времени рассчитывать поправки к предыдущему расчетному положению.

Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма поиска точек интереса.

Благодаря данной выгодной характеристике появляется возможность использовать специализированные методы поиска точек интереса, а именно:

1. Метод SIFT (Scale Invariant Feature Transform) обнаруживает и описывает локальные особенности изображения. Получаемые с помощью него признаки инвариантны относительно масштаба и поворота, устойчивы к ряду аффинных преобразований, шуму. Он заключается в использования пирамиды Гаусса, которая строится для изображения. Далее изображения приводятся к одному размеру, и вычисляется их разность. Причем в качестве кандидатов точек интереса выбираются только те пиксели, которые сильно отличаются от остальных, это делается, например, путем сравнения каждого пикселя изображения с несколькими соседними данного масштаба, с несколькими соответствующими соседями в большем и меньшем масштабе. Пиксель выбирается как точка интереса только в том случае, если его яркость является экстремумом.

2. PCA-SIFT (РСА, Principal Component Analysis - анализ главных компонент) дескриптор - одна из вариаций SIFT, в которой уменьшается размерность дескриптора с помощью анализа главных компонент. Это достигается с помощью нахождения пространства собственных векторов, на которое впоследствии проецируются вектора признаков.

3. SURF (Speeded Up Robust Features), который в несколько раз быстрее SIFT. В данном подходе для ускорения поиска точек интереса используются интегральные изображения. Значение в каждой точке интегрального изображения вычисляется как сумма значений в данной точке и значений всех точек, которые находятся выше и левее данной. С помощью интегральных изображений за константное время вычисляются так называемые прямоугольные фильтры, которые состоят из нескольких прямоугольных областей.

4. MSER и LLD методы наиболее инвариантные к аффинным преобразованиям и изменению масштаба. Оба метода нормализуют 6 параметров аффинных искажений. Более подробней остановимся на MSER. «Экстремальные области» - такое название метод получил из-за сортировки особых точек по интенсивности (в нижних и верхних уровнях). Строится пирамида, у которой на начальном уровне, соответствующем минимальному значению интенсивности, находится белое изображение, а на последнем уровне, отвечающем максимальному значению интенсивности, - черное.

5. Harris-Affine нормализует параметры аффинных преобразований. Harris, в качестве особых областей использует углы, и выявляет ключевые моменты в масштабном пространстве, используя подход, предложенный Линденбергом. Аффинная нормализация осуществляется путем повторяющейся процедуры, чтобы оценить параметры эллиптической области и нормализовать их. При каждом повторении эллиптической области происходит оценка параметров: минимизируется разница между собственными моментами матриц второго порядка выбранной области; эллиптическая область нормализуется на круговую; осуществляется оценка ключевой точки, ее масштаб в масштабе пространства.

6. Hessian-Affine использует в качестве особой области блобы вместо углов. Определитель локальных максимумов матрицы Гессе используется в качестве базовых точек. Оставшаяся часть метод такая же как Harris-Affine.

7. ASIFT - идея объединения и нормализации основных частей метода SIFT. SIFT детектор нормализует вращение, перемещение и моделирует все удаленные от поиска и запроса изображения.

8. GLOH (Gradient location-orientation histogram) является модификацией SIFT-дескриптора, который построен с целью повышения надежности. По факту вычисляется SIFT дескриптор, но используется полярная сетка разбиения окрестности на бины

9. DAISY изначально вводится для решения задачи сопоставления изображений (matching) в случае значительных внешних изменений, т.е. данный дескриптор в отличие от ранее рассмотренных работает на плотном множестве пикселей всего изображения.

10. BRIEF-дескриптор (Binary Robust Independent Elementary Features) обеспечивает распознавание одинаковых участков изображения, которые были сняты с разных точек зрения. При этом ставилась задача максимально уменьшить количество выполняемых вычислений. Алгоритм распознавания сводится к построению случайного леса (randomize classification trees) или наивного Байесовского классификатора на некотором тренировочном множестве изображений и последующей классификации участков тестовых изображений.

Существует также вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма классификатора изображений.

Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма «Фильтр Калмана».

Благодаря данной выгодной характеристике появляется возможность производить анализ неполных и зашумленных изображений, для чего можно использовать эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений. Идея Калмана при этом состоит в том, чтобы получить наилучшее приближение к истинным координатам изображений по неточным измерениям камеры и предсказаным положениям границ изображения. Точность фильтра зависит от времени его применения, что означает все более стабильный вывод изображения на последующих кадрах.

Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма «Пирамиды изображений».

Благодаря данной выгодной характеристике появляется возможность сокращения времени обработки изображений и определения более точных начальных приближений для обработки нижних уровней по результатам обработки верхних уровней.

Краткое описание чертежей.

Другие отличительные признаки и преимущества данной группы изобретений ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 изображает схему устройства для взаимодействия с виртуальными объектами согласно изобретению,

- фигура 2 схематично изображает этапы способа взаимодействия с виртуальными объектами согласно изобретению.

Маркер объекта обозначен как 1. Устройство для создания и просмотра дополненной реальности - 2, в нем изображена видеокамера 21 и дисплей 22.

В качестве устройства для создания и просмотра дополненной реальности может быть использованы такие устройства как смартфон, компьютерный планшет или устройства типа очков добавленной реальности.

Изображение, полученное от видеокамеры устройства для создания и просмотра дополненной реальности, показано как 23.

С маркером связана физическая базовая система координат, обозначена условно как OmXmYmZm.

Координаты устройства 2 для создания и просмотра дополненной реальности относительно базовой системы координат, при этом само устройство 2 имеет свою систему координат OnXnYnZn.

Вектор, соответствующий направлению от маркера 1 к виртуальной камере 21, обозначен как R.

Осуществление изобретения

Устройство для взаимодействия с виртуальными объектами работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения, имея в виду, что данный пример не ограничивает применения изобретения.

Согласно фигуре 2:

Этап А1. Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы.

Этап А2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства.

Этап A3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат.

Этап А4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.

Этап А41. Для этого располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности.

Этап А42. Вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени.

Этап А43. Формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.

Этап А44. Или же формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.

Этап А5. Вышеперечисленные действия повторяют на каждой итерации работы вычислительного модуля устройства для создания и просмотра дополненной реальности. Совокупностью полученных направлений за каждую итерацию формируют информацию о всех перемещениях камеры относительно маркера - повороте, приближении, наклоне и т.п.

Этап А6. Выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.

Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействия с виртуальными объектами. Примерами таких операций могут быть:

- расчет движения в пространстве положения устройства для создания и просмотра дополненной реальности с применением поправок, компенсирующих вибрацию клиентского устройства пользователя. Например, компенсацию вибрации клиентского устройства пользователя производят с использованием фильтра Калмана.

- при расчете движения в пространстве устройства для создания и просмотра дополненной реальности применяют модель искусственных нейронных сетей.

Пример 1. Созданный в качестве объекта дополненной реальности персонаж (человек или животное) может следить глазами в направлении расположения устройства для создания и просмотра дополненной реальности, создавая у пользователя иллюзию того, что этот человек или животное наблюдает за ним так, как это делало бы реальный человек или животное. При попытке обойти персонаж со спины, он может реагировать соответствующим образом, разворачивая корпус в сторону наблюдателя.

Пример 2. Интерактивная игра, в которой на маркере в роли контента дополненной реальности расположен условный противник, стреляющий в направлении пользователя снарядами, движущимися с небольшой скоростью. Чтобы победить в игре, пользователь должен "уклоняться" от снарядов, смещая камеру устройства для создания и просмотра дополненной реальности с их траектории.

Промышленная применимость

Предлагаемый способ взаимодействия с виртуальными объектами может быть осуществлен специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

В соответствии с предложенным изобретением изготовлен опытный образец устройства для взаимодействия с виртуальными объектами, выполненный в виде компьютерного планшета, имеющего дисплей и видеокамеру.

Испытания опытного образца системы показали, что она обеспечивает возможность:

- определения маркеров реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности,

- формирования физической базовой системы координат, привязанной к пространственному положению маркеров реального трехмерного пространства,

- определения координат устройства для создания и просмотра дополненной реальности относительно базовой системы координат;

- задания координат трехмерных виртуальных объектов дополненной реальности в базовой системе координат;

- определения координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства,

- расположения виртуальной камеры в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности,

- вычисления вектора, соответствующего направлению от маркера к виртуальной камере в режиме реального времени,

- формирования информации обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.

- выполнения при помощи движения пользователя заданных действий по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.

Таким образом, в данном изобретении достигнута поставленная задача - обеспечение дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства.

Изобретение относится к области воздействия на виртуальные объекты дополненной реальности. Техническим результатом является повышение точности, а также скорости описывания движения видеокамеры. Способ характеризуется тем, что определяют координаты устройства для создания и просмотра дополненной реальности, располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности, вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени при помощи кватернионов, формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени. 6 з.п. ф-лы, 2 ил.

1. Способ воздействия на виртуальные объекты дополненной реальности, при котором:

- определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности;

- формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства;

- определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат;

- задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат;

- выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности,

отличающийся тем, что

- определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа видеоизображения с камеры устройства,

- располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности,

- вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени при помощи кватернионов,

- формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.

2. Способ по п. 1, отличающийся тем, что вычисляют кватернионы вектора, соответствующего направлению от маркера к виртуальной камере по крайней мере при помощи одной или нескольких координат и одного или нескольких углов, и/или полярных координат, и/или методом «Углов Эйлера».

3. Способ по п. 1, отличающийся тем, что формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.

4. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма поиска точек интереса.

5. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма классификатора изображений.

6. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма «Фильтр Калмана».

7. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма «Пирамиды изображений».