СПОСОБ УПРАВЛЕНИЯ УСТРОЙСТВОМ ФОРМИРОВАНИЯ СРЕДЫ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ Российский патент 2017 года по МПК G06T15/08 G06T17/00 G06K9/46 G06K9/52 G06K9/68 

Изобретение относится к области обработки и генерации данных изображения, анализу изображения, в том числе текстуры, визуализации 3D (трехмерного) изображения.

Наиболее близким по технической сущности - прототипом является компьютерно-реализуемый способ, содержащий: прием сенсорных данных, сгенерированных датчиками, связанными с пользовательским устройством, для физического объекта, находящегося в непосредственной близости от пользователя, использующего пользовательское устройство; распознавание объекта; генерирование виртуального объекта, имеющего заранее определенное отношение с физическим объектом, в ответ на распознавание объекта; и передачу виртуального объекта на дисплей, связанный с пользовательским устройством, для представления пользователю в соответствии с упомянутым заранее определенным отношением (см. RU 2013154098 А, кл. G06F 15/16).

Известный способ может быть использован для создания виртуального объекта, имеющего отношение к реальному физическому объекту.

Недостатком известного способа является невозможность создания среды дополненной реальности в отношении удаленных объектов ввиду использования сенсорных датчиков для получения данных, предусматривающих лишь обнаружение воздействий на датчик.

Другим недостатком известного способа является невозможность обеспечения высокой надежности распознавания близких по своим характеристикам объектов ввиду отсутствия дополнительных данных об объекте помимо данных, генерируемых сенсорным датчиком.

Еще одним недостатком известного решения является то, что в нем не раскрывается детали формирования виртуального объекта. Из указания на то, что виртуальный объект передается на дисплей, связанный с пользовательским устройством, можно сделать вывод о том, что виртуальный объект генерируют удаленно, что означает высокие требования к средствам связи с удаленным генератором по скорости коммуникации для передачи большого объема данных.

Кроме того, использование известного способа не обеспечивает возможности дифференциации доступа конвента в зависимости от качеств пользователя, например по профессиональному или возрастному критерию.

Техническим результатом является обеспечение возможности создания среды дополненной реальности в отношении, в том числе, удаленных объектов за счет использования фото- или видеоизображения физического объекта, повышение надежности распознавания близких по своим характеристикам объектов за счет использования уникального кода активации, связанного с конкретными объектами, упрощение реализации за счет снижения требований к средствам связи, а также возможность обеспечения ограничения доступа пользователя к формированию среды дополненной реальности.

Указанный результат достигается тем, что в способе формирования среды дополненной реальности с помощью пользовательского устройства, заключающемся в получении данных от датчиков пользовательского устройства, связанных с объектом, распознавании объекта и генерировании виртуального объекта, предварительно проверяют подлинность кода активации, идентифицирующего набор рисунков, содержащих объекты, получают данные, связанные с объектом, в виде по меньшей мере одного кадра фото- или видеоизображения объекта, распознавание объекта осуществляют на кадре фото- или видеоизображения путем сопоставления с образами, хранящимися в памяти пользовательского устройства, виртуальный объект генерируют в виде 3D модели, изображение которой воспроизводят в реальном времени с помощью дисплея пользовательского устройства поверх кадров полученного фото- или видеоизображения, при этом объектом, в отношении которого формируют 3D модель, является двумерное изображение по меньшей мере одного предмета, представленного на рисунках, объединенных в набор, которому сопоставлен код активации.

Кроме того:

- кодом активации является кодовое слово, содержащее последовательность букв и/или цифр;

- кодом активации является двумерное изображение, выполненное с возможностью его сканирования с помощью фото- или видеокамеры;

- при наличии более одного кадра полученного фото- или видеоизображения осуществляют выбор из них с точки зрения приемлемости качества изображения;

- формируют 3D модель, контекстно связанную с объектом в ответ на его распознавание;

- формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам;

- формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующего присвоения цветов соответствующим материалам 3D модели;

- формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем создания текстуры, состоящей из участков фотоизображения, а также участков, заполненных сплошными цветами, взятыми в заранее установленных точках фотоизображения, с использованием матрицы преобразования координат;

- на созданной для 3D модели текстуре окрашивают заранее известные участки посредством заполнения цветами смежных пикселей для удаления на результирующем изображении контуров раскрашиваемого объекта;

- на созданную для 3D модели текстуру наносят также карту теней.

Способ формирования среды дополненной реальности с помощью пользовательского устройства поясняется с помощью чертежей, где на Фиг. 1 показан пример формирования среды дополненной реальности с помощью пользовательского устройства, на Фиг. 2 - структурная схема устройства формирования среды дополненной реальности, на Фиг. 3 - алгоритм управления процессором средств вычисления пользовательского устройства.

На чертежах сделаны следующие обозначения:

1 - рисунок из набора рисунков, 2 - объект, в отношении которого создают среду дополненной реальности, 3 - пользовательское устройство (мобильное устройство), 4 - видео или фотокамера, 5 - дисплей, 6 - средства ввода, 7 - средства связи с сервером, 8 - средства распознавания кода активации, 9 - средства проверка кода активации, 10 - средства распознавания объекта, 11 - средства формирования 3D модели, 12 - средства памяти, 13 - средства вывода звука, 14 - средства формирования сигналов итогового изображения, 15 - получение данных кода активации, 16 - предварительная проверка кода активации, 17 - передача данных кода активации на сервер и получение результатов проверки, 18 - оценка результатов проверки кода активации на сервере, 19 - запуск формирования среды дополненной реальности, 20 - получение сигналов изображения с выхода фото- или видеокамеры, 21 - распознавание объекта на изображении, 22 - формирование сигнала итогового изображения для вывода на дисплей, 23 - сервер со средствами проверки кода активации, 24 - Интернет, 25 - средства вычисления пользовательского устройства.

Способ управления устройством формирования среды дополненной реальности обеспечивает формирование среды дополненной реальности с помощью пользовательского устройства и сервера активации и заключается в следующем. Объектом, в отношении которого создают среду дополненной реальности, является двумерное изображение по меньшей мере одного предмета, представленного на рисунке (Фиг. 1). Рисунки объединены в набор, состоящий из нескольких рисунков, снабженный кодом активации, в качестве которого используют либо кодовое слово, содержащее последовательность букв и/или цифр, либо двумерное изображение, выполненное с возможностью его сканирования с помощью фото- или видеокамеры. Проверяют подлинность кода активации, идентифицирующего набор рисунков, содержащих объекты для отображения в виде 3D модели. В случае успешного результата проверки кода активации запускают процесс визуализации пространственной 3D модели, в ходе которого получают с помощью встроенной в пользовательское устройство фото- или видеокамеры по меньшей мере один кадр фото- или видеоизображения объекта. На основе эталонных образов, хранящихся в памяти пользовательского устройства средств формирования среды дополненной реальности осуществляют распознавание объекта на кадре, после чего формируют 3D модель, имеющую смысловую связь с объектом, и воспроизводят ее изображение в реальном времени с помощью дисплея поверх кадров полученного фото- или видеоизображения, При этом получают по меньшей мере один кадр фото- или видеоизображения объекта и при наличии более одного кадра полученного фото- или видеоизображения осуществляют выбор из них с точки зрения приемлемости качества изображения.

Формируют 3D модель в цвете, при этом окрашивание осуществляют по одному из трех вариантов. Для окрашивания по первому варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам.

Для окрашивания 3D модели по второму варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующего присвоения цветов соответствующим материалам 3D модели,

Для окрашивания 3D модели по третьему варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем создания текстуры, состоящей из участков фотоизображения, а также участков, заполненных сплошными цветами, взятыми в заранее установленных точках фотоизображения, с использованием матрицы преобразования координат.

На созданной для 3D модели текстуре окрашивают заранее известные участки посредством заполнения цветами смежных пикселей для удаления на результирующем изображении контуров раскрашиваемого объекта, а также наносят также карту теней (ambient occlusion) на созданную текстуру для 3D модели.

Способ формирования среды дополненной реальности с помощью пользовательского устройства используется следующим образом.

Эффект дополненной реальности создают с помощью пользовательского устройства, представляющего собой мобильное устройство, содержащее встроенную фото- или видеокамеру, средства вычисления, средства памяти, средства ввода информации и дисплей для отображения изображений, а также серверного оборудования, обеспечивающего соответствующий интерфейс с пользовательским устройством. Мобильное устройство выполнено с возможности обмена сигналами с сервером с использованием сети Интернет и снабжено соответствующими средствами беспроводной связи.

Объектами, в отношении которых формируют эффект дополненной реальности, являются двумерные изображения, в общем случае набор рисунков. Для каждого такого рисунка создают пространственную 3D модель, которая может быть отображена на дисплее в виде статического изображения или видеоряда, например, анимационного изображения.

Определенное количество рисунков, например в количестве 20, объединены в набор, которому сопоставлен код активации. Код активации представляет собой кодовое слово или иное двумерное изображение, выполненное с возможностью его сканирования с помощью встроенной фото- или видеокамеры, отпечатанное на специально выделенном для него участке, например на обложке, так, чтобы оно оставалось скрытым до вскрытия набора рисунков.

Кодовое слово представляет собой буквенно-числовую последовательность, содержащую буквы и/или цифры, выполненные одним из известных шрифтов.

Генерацию кодов активации осуществляют заранее в пакетном режиме: не менее 1000 единиц в пакете. В процессе формирования пакетов проверяют коды активации на уникальность в отношении ранее сгенерированных кодов активации. Сформированные пакеты хранят на сервере активации, который обеспечивает интерфейс для работы с кодами активации.

Таким образом, код активации соответствует конкретному набору объектов, а его уникальность позволяет использовать его в качестве дополнительного признака, разграничивающего наборы объектов, близкие по своим параметрам, например позволяет разделять изображения однотипных автомобилей по их маркам.

Процесс управления средствами формирования дополненной реальности, прежде всего, включает проверку подлинности кода активации, соответствующего используемому набору рисунков, с использованием интерфейса, реализованного на сервере активации. Для этого с помощью средств ввода информации вводят кодовое слово в соответствующее поле одной из начальных страниц программы управления мобильным средством или считывают изображение кода активации с помощью встроенной в пользовательское устройство видео- или фотокамеры с последующим распознаванием составляющих его символов и после предварительной проверки с помощью средств вычисления пользовательского устройства направляют на сервер для получения разрешения активации процесса формирования среды дополненной реальности. В случае положительного результата проверки с помощью сервера формируют команду активации процесса формирования среды дополненной реальности и передают ее на пользовательское устройство.

Активированная таким образом программа управления вычислительными средствами пользовательского устройства формирует команду обработки сигнала с выхода фото- или видеокамеры, с помощью которой захватывают изображение объекта путем наведения фото- или видеокамеры пользовательского устройства на один из рисунков из набора. Получают по меньшей мере один кадр с изображением соответствующего рисунка, на котором с помощью средств вычисления распознают соответствующий рисунку объект.

Распознавание осуществляют с использованием заранее созданных образов, сохраняемых в памяти средств вычисления.

Сигналы полученного с выхода фото- или видеокамеры изображения подают на входы дисплея для отображения захваченного изображения.

При наличии более одного кадра полученного фото- или видеоизображения осуществляют выбор из них с точки зрения приемлемости качества изображения.

Далее с помощью средств вычисления пользовательского устройства формируют 3D модель, соответствующую распознанному таким образом объекту.

Изображение 3D модели выполняют цветным, при этом окрашивание элементов осуществляют любым приемлемым способом, включая следующие нижеперечисленные варианты. Исходными данными при окрашивании являются следующие:

- модель, состоящая из полигонов, группам которых назначены материалы,

- одна или две развертки (координат текстуры),

- изображение маркера,

- дополнительные карты освещенности, рельефа и т.п.

По первому варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фото- или видеоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам,

Здесь и далее «Материал» - назначается группе полигонов модели и имеет ряд настроек. Цвет ему можно задать либо просто указанием цвета, либо назначением текстуры (картинка + координаты ее развертки по модели). «Текстура» - любое цифровое изображение, которое используется/планируется к использованию как "окраска" 3D-модели. «Координаты текстуры» - данные, которые ставят в соответствие полигоны 3D-модели участкам текстуры. Один участок текстуры может соответствовать нескольким полигонам. Другое название координат текстуры: развертка или unwrap/анврап/врап.

Таким образом, окрашивание по первому варианту включает: получение кадра изображения, восстановление "ортогонального" изображение маркера, используя информацию о координатах маркера, поставляемую средствами распознавания, наложение его на модель как текстуру, используя заранее сделанную ортогональную развертку.

По второму варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующего присвоения цветов соответствующим материалам 3D модели.

Таким образом, окрашивание по второму варианту включает: получение кадра изображения, считывание цвета в заданных точках кадра, используя информацию о координатах маркера, поставляемую средствами распознавания, далее наложение его на модель как текстуру, используя заранее сделанную ортогональную развертку, материалам модели назначаются эти цвета. Точка на маркере заранее ставится в соответствие участку модели.

Либо генерируют новую текстуру на основе заранее созданных масок. Маски соответствующих цветов накладывают на новую текстуру в заданном порядке, образуя изображение в "обычной" развертке, и далее поверх полученной текстуры наносят дополнительные карты освещенности/теней и пр.

По третьему варианту формируют матрицу преобразования координат фотоизображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем создания текстуры, состоящей из участков фотоизображения, а также участков, заполненных сплошными цветами, взятыми в заранее установленных точках фотоизображения, с использованием матрицы преобразования координат

Таким образом, окрашивание по третьему варианту включает: получение кадра изображения, восстановление "ортогонального" изображение маркера, используя информацию о координатах маркера, поставляемую средствами распознавания, генерация новой текстуры в "обычной" развертке посредством поэлементного переноса всего изображения с маркера. Перенос происходит посредством соотнесения двух координат развертки - обычных и планарных. Каждый полигон модели присутствует на обеих развертках, тем самым ставя эти участки в соответствие, и, далее, при необходимости поверх полученной текстуры наносят дополнительные карты освещенности/теней и пр.

При любом варианте дополнительно может использоваться "подчистка" линий маркера посредством замены цветов пикселей на цвета соседних пикселей. А именно для удаления на изображении 3D модели контуров раскрашиваемого объекта на созданной для 3D модели текстуре окрашивают заранее установленные участки, посредством заполнения цветами смежных пикселей.

На созданную для 3D модели текстуру наносят также дополнительные элементы изображения, а именно карту теней (ambient occlusion).

Далее формируют сигналы итогового изображения, в котором изображение 3D модели накладывают на изображение с выхода фото- или видеокамеры и подают их для отображения на входы дисплея, так, что изображение 3D модели воспроизводится поверх воспроизводимого в реальном времени изображения, захваченного фото- или видеокамерой.

Способ формирования среды дополненной реальности с помощью пользовательского устройства реализуется с использованием фото- или видеокамеры, что обеспечивает возможность формирования среды дополненной реальности относительно любого попавшего в поле зрения камеры объекта, как близко расположенного, так и удаленного.

Способ формирования среды дополненной реальности с помощью пользовательского устройства предполагает предварительную активацию процесса, при этом код активации может быть использован в качестве детализации набора рисунков, содержащих объекты, способствуя выбору из памяти образов лишь определенной категории для распознавания объектов, что повышает надежность правильного распознавания объектов.

Сервер, задействованный в реализации способа, используется для проверки действительности кода активации, поэтому канал связи с сервером не требует использования мощных и скоростных средств связи, что упрощает аппаратную реализацию способа.

Кроме того, благодаря наличию проверки действительности кода активации способ формирования среды дополненной реальности с помощью пользовательского устройства обеспечивает возможность ограничения его использования пользователями, которым доступ к использованию способа не предусмотрен. Критериями такого ограничения могут служить, например, возраст пользователя, не позволяющий знакомиться с контентом, обеспечиваемым реализацией способа. Другим примером ограничения может являться профессиональный статус пользователя, степень разрешенного ему доступа к конфиденциальной информации. Ограничения могут определяться и иными критериями.

Устройство формирования среды дополненной реальности (Фиг. 2) состоит из пользовательского устройства, предпочтительно мобильного устройства, содержащего средства вычисления, соединенные с входами/выходами средств памяти, фото- или видеокамеры, дисплея, средств ввода информации, средств вывода звука и средств связи с сервером, представляющих собой узел беспроводной передачи данных, в рамках стандартов Wi-Fi или стандартов GPRS, или LTE, или иного аналогичного, для связи с сервером, а также сервера активации, снабженного средствами проверки действительности кода активации, средствами памяти для хранения кодов активации и связанного с пользовательским устройством посредством сети Интернет. Средства вычисления содержат средства распознавания кода активации, средства проверка кода активации, средства распознавания объекта, средства формирования 3D модели, средства памяти и средства формирования сигналов итогового изображения.

Средства вычисления предполагают следующий порядок работы (Фиг. 3).

Вначале работы происходит получение данных кода активации, который пользователь заносит вручную с помощью средств ввода или путем наведения фото- или видеокамеры на его изображение. Средствами ввода могут быть кнопки управления, кнопки сенсорной клавиатуры, узел голосового ввода или фото- или видеокамера.

Затем осуществляется проверка кода активации по формальным признакам путем сопоставления длины, и/или четности, и/или допустимых символов и пр. с допустимыми значениями.

После локальной проверки происходит передача данных кода активации на средства связи с сервером. На сервере осуществляют проверку действительности кода путем сравнения с хранящимися в его памяти кодами.

После получения результатов проверки с сервера осуществляют сопоставление полученной команды сервера с возможностью активации или разблокировки процесса управления формированием среды дополненной реальности. Если результаты проверки оказываются отрицательными, то процесс заканчивается.

Если результаты проверки положительные, то осуществляют запуск процесса формирования среды дополненной реальности.

Осуществляют получение изображения с выхода фото- или видеокамеры, которую пользователь наводит на рисунок с объектом.

Средства вычисления обращаются к памяти для обнаружения и распознавания объекта на захваченном изображении путем сравнения с образами объектов.

После распознавания объекта осуществляется формирование 3D модели, связанной с распознанным объектом.

На завершавшей стадии формирования среды дополненной реальности происходит формирование вывод на дисплей сигналов итогового изображения.

Описанные варианты настоящего изобретения и сформулированные в этих вариантах расположение компонентов, числовые выражения и численные значения не ограничивают объем данного изобретения, если это не указано специально.

Пример

Средства формирования среды дополненной реальности представляют собой пользовательское устройство, в качестве которого используют мобильное устройство связи, снабженное встроенной видеокамерой, средствами вычисления, памятью, средствами ввода информации в виде сенсорных кнопок, встроенный дисплей и средства связи с сервером посредством сети Интернет, а также сам сервер активации.

Объекты, в отношении которых формируют дополненную реальность, представляют собой рисунки, выполненные на листах бумаги, собранные в изначально запечатанный альбом, на внутренней стороне обложки которого напечатано кодовое слово.

Пользователь, распечатав альбом, получает доступ к кодовому слову указанного альбома. Запустив соответствующее приложение мобильного устройства связи, пользователь вводит в соответствующее поле на открывшейся страничке кодовое слово, которое в виде сигналов подается на вход средств вычисления, где производится проверка формальных признаков и затем с помощью средств связи с сервером передается на сервер для проверки соответствия одному из хранящихся на сервере кодовому слову. Средства вычисления сервера производят проверку введенного пользователем кодового слова на подлинность с использованием интерфейса реализованного на сервере активации.

В случае отрицательного результата проверки управление средствами формирования среды дополненной реальности заканчивается и соответствующее приложение остается заблокированным.

При положительном результате проверки сервером формируется сигнал разрешения формирования пользовательским устройством среды дополненной реальности, которую передают посредством Интернет на мобильное средство связи и, таким образом, разблокируют соответствующее приложение.

Получив возможность формирования эффекта дополненной реальности, пользователь наводит видеокамеру мобильного средства связи на один из рисунков альбома, обеспечивая возможность захвата видеокамерой изображения объекта, а также его обнаружение и распознавание с помощью средств вычисления. При этом средства вычисления обращаются к памяти мобильного устройства, в которой хранятся образы объектов, содержащихся в альбоме. В отношении распознанного объекта формируют пространственную модель и отображают ее в виде соответствующего видеоряда на дисплее поверх захваченного изображения.

Средства вывода звука используются для воспроизведения звуковых эффектов, связанных с воспроизводимым изображением 3D модели.

Способ формирования среды дополненной реальности с помощью пользовательского устройства может быть реализован с использованием стандартных компонентов и радиоэлектронной элементной базы, включая самостоятельные модули, такие как камера, дисплей, процессор и др.

Таким образом, способ формирования среды дополненной реальности с помощью пользовательского устройства обеспечивает возможность создания среды дополненной реальности в отношении, в том числе, удаленных объектов за счет использования фото- или видеоизображения физического объекта, повышение надежности правильного распознавания близких по своим характеристикам объектов за счет использования уникального кода активации, связанного с конкретными объектами, упрощение реализации за счет снижения требований к средствам связи, а также обеспечивает возможность ограничения доступа к формированию среды дополненной реальности для пользователя.

Изобретение относится к технологиям обработки, генерации данных изображения, анализу изображения, в том числе текстуры, визуализации трехмерного изображения. Техническим результатом является обеспечение ограничения доступа пользователю к формированию среды дополненной реальности за счет осуществления проверки действительности кода активации. Предложен способ формирования среды дополненной реальности с помощью пользовательского устройства. Способ содержит этап, на котором получают данные от датчиков пользовательского устройства, связанные с объектом, осуществляют распознавание объекта и генерирование виртуального объекта. Далее согласно способу осуществляют проверку подлинности идентифицирующего набора рисунков, содержащих объекты, кода активации, для чего его направляют на сервер, где в случае положительного результата проверки формируют команду активации процесса формирования среды дополненной реальности и передают ее на пользовательское устройство. Далее получают данные, связанные с объектом, в виде по меньшей мере одного кадра фото- или видеоизображения объекта. 9 з.п. ф-лы, 3 ил.

1. Способ формирования среды дополненной реальности с помощью пользовательского устройства, заключающийся в получении данных от датчиков пользовательского устройства, связанных с объектом, распознавании объекта и генерировании виртуального объекта, отличающийся тем, что проверяют подлинность идентифицирующего набора рисунков, содержащих объекты, кода активации, для чего его направляют на сервер, где в случае положительного результата проверки формируют команду активации процесса формирования среды дополненной реальности и передают ее на пользовательское устройство, получают данные, связанные с объектом, в виде по меньшей мере одного кадра фото- или видеоизображения объекта, распознавание объекта осуществляют на кадре фото- или видеоизображения путем сопоставления с образами, хранящимися в памяти пользовательского устройства, виртуальный объект генерируют в виде 3D модели, изображение которой воспроизводят в реальном времени с помощью дисплея пользовательского устройства поверх кадров полученного фото- или видеоизображения, при этом объектом, в отношении которого формируют 3D модель, является двумерное изображение по меньшей мере одного предмета, представленного на рисунках, объединенных в набор, которому сопоставлен код активации.

2. Способ по п. 1, отличающийся тем, что кодом активации является кодовое слово, содержащее последовательность букв и/или цифр.

3. Способ по п. 1, отличающийся тем, что кодом активации является двумерное изображение, выполненное с возможностью его сканирования с помощью фото- или видеокамеры.

4. Способ по п. 1, отличающийся тем, что при наличии более одного кадра полученного фото- или видеоизображения осуществляют выбор из них с точки зрения приемлемости качества изображения.

5. Способ по п. 1, отличающийся тем, что формируют 3D модель, контекстно связанную с объектом в ответ на его распознавание.

6. Способ по п. 1, отличающийся тем, что формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели, так что соответствующие полигоны покрывают соответствующими участками текстуры по заранее сформированным на этапе текстурирования координатам.

7. Способ по п. 1, отличающийся тем, что формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем определения цветов окраски материалов 3D модели на основе считывания цвета, в заранее установленных точках фотоизображения с использованием матрицы преобразования координат, и последующего присвоения цветов соответствующим материалам 3D модели.

8. Способ по п. 1, отличающийся тем, что формируют 3D модель в цвете, при этом формируют матрицу преобразования координат изображения в собственные, а именно декартовы координаты, характеризуемые ортогональностью осей, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем создания текстуры, состоящей из участков фотоизображения, а также участков, заполненных сплошными цветами, взятыми в заранее установленных точках фотоизображения, с использованием матрицы преобразования координат.

9. Способ по п. 8, отличающийся тем, что на созданной для 3D модели текстуре окрашивают заранее известные участки посредством заполнения цветами смежных пикселей для удаления на результирующем изображении контуров раскрашиваемого объекта.

10. Способ по п. 8, отличающийся тем, что на созданную для 3D модели текстуру наносят также карту теней.