СПОСОБ РАСПОЗНАВАНИЯ ОБЪЕКТОВ ДЛЯ ДВИЖКОВ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ ПОСРЕДСТВОМ ЭЛЕКТРОННОГО УСТРОЙСТВА Российский патент 2020 года по МПК G06T7/73 

Область изобретения

Настоящее изобретение относится к способу распознавания объектов, в частности, трехмерных объектов, для движков дополненной реальности посредством электронного устройства, предпочтительно портативного, а также относится к компьютерной программе и к электронному устройству. Настоящее изобретение также относится к способу и системе для интерактивного просмотра и управления контентом дополненной реальности.

Дополненная реальность (AR) представляет собой технологию, которая позволяет комбинировать цифровые данные, генерируемые электронным устройством, с реальной средой. Посредством движков дополненной реальности, действующих посредством наложения в реальном времени и модификации потока информации, поступающей из детектора изображений, например, камеры, информация, связанная с конкретным реальным объектом, становится интерактивной и улучшается сенсорное восприятие человека. Это происходит посредством алгоритмов распознавания реальных объектов, которые позволяют обеспечивать совмещение объекта, сгенерированного компьютером, с реальным объектом.

В настоящее время движки дополненной реальности имеют множество применений.

Одним из применений, представляющих интерес, является применение, относящееся к обучению и подготовке, для которого, исходя из распознавания реального объекта, относительно которого должно проводиться обучение или подготовка, электронное устройство генерирует ряд информации, которая размещается (накладывается) поверх реального объекта и позволяет взаимодействовать с изображением реального объекта, созданного электронным устройством.

В приложениях этого типа распознавание реального объекта является основным.

Предпосылки создания изобретения

В настоящее время существует несколько систем распознавания объектов предшествующего уровня техники. Большинство из них основаны на обнаружении изображения объекта посредством камеры или видеокамеры, вставленной в электронное устройство. Обнаруженное таким образом изображение должно быть распознано программой, загруженной в электронное устройство, чтобы активировать дополненную реальность. Однако такой тип распознавания эффективен только в том случае, если реальный объект является двумерным, например, чертежом, или двумерным изображением, таким как фотография, того же самого объекта, или трехмерным объектом, имеющим правильную форму. Если программа не может распознать изображение и, следовательно, объединить его с тем, что содержится в движке дополненной реальности, то дополненная реальность не активируется. Кроме того, этот тип распознавания работает только в том случае, если камера захватывает объект, но не в случае, если камера перемещается относительно объекта таким образом, что она не может его видеть.

Следовательно, она остается системой, связанной с распознаванием отдельных объектов, а не с распознаванием объектов, которые распространяются в окружающей среде.

Существуют альтернативные системы распознавания изображений, основанные на обнаружении и распознавании маркеров, то есть двумерных символов, расположенных на объекте. Однако эта система также имеет ограничение, связанное с необходимостью постоянного просмотра маркера, чтобы активировать движок дополненной реальности.

Чтобы позволить камере перемещаться относительно объекта и, следовательно, иметь доступ к контенту дополненной реальности, пока объект не просматривается, существуют системы предшествующего уровня техники, основанные на «расширенных маркерах». Во время перемещения электронного устройства относительно объекта такие системы создают последовательные опорные сигналы, которые позволяют маркеру не быть постоянно видимым. Эти системы также имеют проблемы, поскольку в любом случае они должны начинаться с маркера и, кроме того, при переводе камеры или перемещении относительно объекта таким образом, что маркер больше не виден, изображение, генерируемое компьютером, имеет тенденцию более не совмещаться правильным образом с изображением реального объекта. При использовании контент дополненной реальности активируется, но более не совмещается с изображением реального объекта.

Раскрытие изобретения

Цель настоящего изобретения заключается в том, чтобы позволить активировать движок дополненной реальности, исходя из обнаружения реального объекта, независимо от формы объекта или наличия маркера.

Еще одна цель настоящего изобретения заключается в том, чтобы обеспечить оптимальное совмещение изображения дополненной реальности с изображением реального объекта.

Настоящее изобретение достигает этих целей благодаря способу распознавания объектов, в частности, трехмерных объектов, для движков дополненной реальности с характеристиками, определенными в п. 1 формулы изобретения.

Преимущественно, электронное устройство, предпочтительно смарт-очки, планшет или смартфон, содержит интерфейс ввода данных, причем интерфейс снабжен элементами, предпочтительно с управлением «касанием», для регулировки совмещения. Таким образом, возможно перевести устройство так, чтобы реальный объект более не просматривался и продолжал иметь оптимальное наложение изображения дополненной реальности на изображение реального объекта.

Краткое описание графических материалов

Дополнительные преимущества и признаки настоящего изобретения являются более очевидными в приведенном ниже подробном описании со ссылкой на прилагаемые графические материалы, изображающие его пример без ограничения объема изобретения, на которых:

на фиг. 1 изображен примерный вариант осуществления первого этапа способа согласно настоящему изобретению;

на фиг. 2 изображен следующий этап способа согласно настоящему изобретению;

на фиг. 3 изображен дополнительный этап способа согласно настоящему изобретению;

на фиг. 4 изображен следующий этап способа согласно настоящему изобретению;

на фиг. 5 схематически изображен предпочтительный вариант осуществления системы для интерактивного просмотра и управления контентом дополненной реальности, который использует способ распознавания согласно настоящему изобретению.

Подробное описание предпочтительного варианта осуществления настоящего изобретения

На фиг.1 число 1 обозначает реальный объект, имеющий любую форму, в частности, трехмерный объект, к которому должен быть применен контент посредством движка дополненной реальности. Согласно настоящему изобретению, исходя из объекта 1, создается по меньшей мере один трехмерный чертеж 2.

Как изображено на фиг. 2, исходя из трехмерного чертежа 2, определяется по меньшей мере одно характеристическое измерение 3 объекта 1. В случае изображенного примера, на основе трехмерного чертежа 2 определены пять характеристических измерений.

На фиг. 3 изображены этапы способа согласно настоящему изобретению, которые включают расположение электронного устройства 4 таким образом, чтобы просматривать объект 1, и обнаружение изображения 5 объекта 1. Электронное устройство 4 предпочтительно представляет собой смарт-очки. Как показано на фиг. 3, оно также может представлять собой планшет или смартфон. Объект 1 захватывается, например, посредством использования камеры или видеокамеры, обычно вставляемой в электронное устройство 4. Таким образом, обнаруживается изображение 5 реального объекта. Изображение 5 просто просматривается на электронном устройстве 4 без какой-либо обработки изображения. Согласно настоящему изобретению характеристическое измерение или характеристические измерения 3 объекта 1, которые были определены, исходя из чертежа 2, накладываются на обнаруженное изображение 5. Этот этап также не включает какую-либо обработку обнаруженного изображения 5, а просто накладывает характеристическое измерение или характеристические измерения 3 на изображение.

Как показано на фиг. 4, согласно настоящему изобретению характеристическое измерение или измерения 3 совмещаются с изображением 5 объекта 1, обнаруженного видеокамерой, таким образом, чтобы определить расположение электронного устройства 4 относительно объекта 1, позволяя активировать движок дополненной реальности. Следовательно, нет необходимости распознавать изображение реального объекта, что для объектов, имеющих сложную форму, может быть затруднительным, для того, чтобы активировать движок дополненной реальности. В отличие от систем предшествующего уровня техники, реальный объект 1 распознается не посредством обработки обнаруженного изображения 5, а посредством совмещения характеристического измерения или характеристических измерений 3 с изображением 5, просматриваемым на устройстве 4. В зависимости от совмещения характеристического измерения или характеристических измерений 3 с изображением 5 соответствующий контент дополненной реальности связывается с реальным объектом 1. Кроме того, совмещение характеристических измерений 3 с изображением 5 позволяет активировать движок дополненной реальности с оптимальным расположением контента дополненной реальности относительно реального объекта. Даже расположение не требует обработки изображения объекта, а просто просмотра объекта на электронном устройстве 4.

Способ согласно настоящему изобретению также позволяет перемещать электронное устройство 4 относительно реального объекта 1, избегая при этом потери совмещения изображения дополненной реальности относительно обнаруженного изображения 5 реального объекта 1. Фактически, совмещение характеристических измерений 3 объекта 1 с обнаруженным изображением 5 позволяет определить расположение электронного устройства 4 относительно объекта 1 и, следовательно, повторный расчет положения изображения дополненной реальности и обнаруженного изображения 5 относительно друг друга, даже когда камера или видеокамера перемещается и более не захватывает реальный объект 1.

Чтобы повторно рассчитать эту позицию, может быть применен инерциальный измерительный блок IMU. При этом используются датчики, такие как гироскоп, акселерометр, компас, GPS и, при необходимости, магнитометры для обнаружения перемещений.

Преимущественно, как изображено на фиг. 3 и 4, электронное устройство 4 содержит интерфейс 6 ввода данных, снабженный элементами 7, в частности, с управлением «касанием», для регулировки совмещения. Регулировка также может быть выполнена с использованием элементов с управлением посредством «трекпада» или с управлением «жестами».

Регулировка может быть выполнена посредством удерживания электронного устройства 4 таким образом, чтобы оно захватывало реальный объект 1.

В этом случае первое совмещение характеристических измерений 3 с изображением 5 реального объекта 1 происходит посредством перемещения электронного устройства 4 относительно реального объекта 1. Однако пользователь может регулировать совмещение вручную посредством элементов 7 с управлением «касанием» для повышения точности.

Эта регулировка является особенно преимущественной в случаях, когда электронное устройство 4 перемещается для захвата различных элементов окружающей среды, в которой пользователь хочет применять контент дополненной реальности. В этом случае автоматическое совмещение, которое выполняется посредством датчиков, может не быть оптимальным и, следовательно, может быть улучшено посредством воздействия на элементы 7 с управлением «касанием» интерфейса 6 электронного устройства 4.

Способ распознавания согласно настоящему изобретению в любом случае позволяет работать электронному устройству в дополненной реальности даже с источниками, отличными от реального объекта, такими как фотография объекта или его реконструкция, или маркера. Фактически, изображение обнаруживается посредством простой камеры или видеокамеры, что также происходит в обычных системах, несмотря на то, что в этих системах изображение должно обрабатываться, чтобы активировать движок дополненной реальности.

По сравнению с обычными системами распознавание объекта посредством способа согласно настоящему изобретению всегда позволяет перемещать электронное устройство относительно реального объекта, сохраняя при этом совмещение между размещенной поверх дополненной реальностью и обнаруженным изображением.

Одно из преимущественных применений способа согласно настоящему изобретению относится к области подготовки и технической профессиональной деятельности высокого уровня, такой как техническое обслуживание летательных аппаратов и механических транспортных средств в целом, т. е. деятельности, которая требует выполнения операций в соответствии со строгими и определенными шаблонами и последовательностями.

В настоящее время в секторе подготовки этот вид деятельности осуществляется с использованием различных способов и средств, таких как профессиональная подготовка, электронное обучение и т. д. В секторе технического обслуживания, несмотря на широкую распространенность компьютерных систем, использование средств для бумажного копирования все еще преобладает. В этом случае дополненная реальность предоставляет новое пространство для обучения, объединяя цифровые учебные материалы со средствами и объектами, которые являются частью физического пространства.

Возможность проведения технического обслуживания в «виртуальной» среде выгодна с экономической точки зрения (например, нет необходимости в том, чтобы не позволять самолету летать во время обучения рабочих) и с точки зрения безопасности (можно будет перейти к физическому выполнению операции только после ее многократного повторения). Возможность повторной попытки выполнения заранее заданного действия без прерываний повышает эффективность операций.

Согласно данному преимущественному применению, способ включает этап создания руководств по дополненной реальности и обучающего контента, которые вводятся на сервере, доступном для пользователя посредством электронного устройства, при необходимости с использованием учетных данных.

Способ также включает как простой доступ к таким данным и контенту, так и их модификацию, осуществляемые, опять же, посредством электронного устройства, в зависимости от режима, выбранного пользователем. Может существовать несколько режимов: пользователь может просто осуществлять «навигацию», чтобы ознакомиться с системой, может получить доступ к контенту дополненной реальности в режиме «обучения», может использовать режим «подготовки» для выполнения подготовки к дополненной реальности и получения «ключевого показателя результативности», который отслеживается системой, или может выполнять управляемые действия по техническому обслуживанию, получая при этом инструкции, непосредственно проецируемые на объект или компонент, с которым пользователь работает, таким образом, чтобы руки пользователя оставались свободными при получении инструкций и подтверждении выполнения этапа, чтобы просмотреть следующее.

В одном примерном варианте осуществления пользователь загружает в электронное устройство программу с веб-сайта, доступного, например, посредством учетных данных.

Затем пользователь выбирает один из различных режимов (простая навигация, обучение, подготовка, получение инструкций) и выбирает предмет.

Затем пользователь захватывает объект, который распознается посредством наложения и совмещения с обнаруженным изображением характеристических измерений, определенных, исходя из трехмерного чертежа объекта.

Затем соответствующий ориентир, определенный в руководстве, связывается с обнаруженным и распознанным изображением. После этого, например, посредством применения режима «касания» на значках, расположенных поверх, активируется соответствующий мультимедийный контент. Могут присутствовать различные уровни дополненной реальности, например, значки, расположенные поверх активируются, когда изображение распознается, и мультимедийный контент активируется при выборе значка.

В программу также возможно ввести модуль «оптического распознавания символов» (OCR) для распознавания текста и активации соответствующего контента.

Способ согласно настоящему изобретению позволяет активировать контент, даже если фокус перемещен с ранее захваченного физического объекта. Это особенно выгодно в случае обучения или получения инструкций о различных элементах, которые простираются в пространстве, например, в кабине пилотов самолета, так как это позволяет пользователю просматривать различные элементы кабины пилотов, при этом сохраняя контент дополненной реальности активным для первого захваченного элемента.

В предпочтительном варианте осуществления способ включает возможность модифицирования контента руководств посредством ввода и модификации видов расположения поверх и ориентиров в зависимости от выбранного режима.

На фиг. 5 схематически изображены основные компоненты системы, которая позволяет реализовать описанный метод.

Число 8 в общем обозначает сервер, содержащий программу 9 для создания контента, 10 обозначает систему управления базами данных (D.B.M.S.), предназначенную для управления данными, а 4 обозначает электронное устройство, предпочтительно портативное, на которое возможно загрузить с сервера мобильное приложение для просмотра и модифицирования контента дополненной реальности. Число 11 обозначает интерфейс с модулем распознавания для дополненной реальности, который реализует способ согласно настоящему изобретению. Число 12 используется для обозначения интерфейса с модулем OCR (оптическое распознавание символов). Эти модули содержатся на сервере и могут быть загружены вместе с мобильным приложением. Мобильное приложение может использоваться для доступа к контенту на сервере.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности обнаружения реального объекта, независимо от формы объекта или наличия маркера. Способ включает создание трехмерного чертежа реального объекта, определение характеристического измерения реального объекта, исходя из трехмерного чертежа, ввод в электронное устройство указанного характеристического измерения реального объекта, расположение электронного устройства таким образом, чтобы просматривать реальный объект, обнаружение изображения реального объекта в электронном устройстве, наложение указанного характеристического измерения реального объекта на обнаруженное изображение, совмещение указанного характеристического измерения реального объекта с обнаруженным изображением таким образом, чтобы определить расположение электронного устройства относительно реального объекта. 5 н. и 6 з.п. ф-лы, 5 ил.

1. Способ распознавания реальных объектов, в частности трехмерных объектов, для движков дополненной реальности, включающий этапы:

- создания по меньшей мере одного трехмерного чертежа (2) реального объекта (1);

- определения по меньшей мере одного характеристического измерения (3) реального объекта (1), исходя из трехмерного чертежа (2);

- ввода в электронное устройство (4) указанного по меньшей мере одного характеристического измерения (3) реального объекта (1);

- расположения электронного устройства (4) таким образом, чтобы просматривать реальный объект (1);

- обнаружения изображения (5) реального объекта (1) в электронном устройстве (4);

- наложения указанного по меньшей мере одного характеристического измерения (3) реального объекта (1) на обнаруженное изображение (5);

- совмещения указанного по меньшей мере одного характеристического измерения (3) реального объекта (1) с обнаруженным изображением (5) таким образом, чтобы определить расположение электронного устройства (4) относительно реального объекта (1).

2. Способ по п. 1, отличающийся тем, что он включает этап регулировки совмещения указанного по меньшей мере одного характеристического измерения (3) реального объекта (1) с обнаруженным изображением (5).

3. Способ по п. 2, отличающийся тем, что электронное устройство (4) содержит интерфейс (6) ввода данных, причем указанный интерфейс (6) снабжен элементами (7), предпочтительно с управлением «касанием», для регулировки совмещения.

4. Способ по п. 2 или 3, отличающийся тем, что указанный этап регулировки совмещения происходит во время перемещения электронного устройства (4) относительно реального объекта (1).

5. Способ по любому из предыдущих пунктов, отличающийся тем, что электронное устройство (4) является портативным, предпочтительно планшетом или смартфоном, более предпочтительно смарт-очками.

6. Машиночитаемый носитель, содержащий компьютерную программу, содержащую инструкции для выполнения этапов способа по любому из предыдущих пп. 1–4.

7. Электронное устройство для распознавания объектов, в частности трехмерных объектов, для движков дополненной реальности, содержащее по меньшей мере один блок обнаружения изображений, в частности видеокамеру или камеру для просмотра изображения (5) реального объекта (1), по меньшей мере один интерфейс (6) ввода данных и по меньшей мере один блок обработки данных, отличающееся тем, что указанный блок обработки данных выполнен с возможностью выполнения этапов способа по любому из пп. 1–4.

8. Способ интерактивного просмотра и управления контентом дополненной реальности, включающий этапы:

- внедрения движка дополненной реальности в электронное устройство (4);

- распознавания реального объекта посредством использования способа по любому из предыдущих пп. 1–5;

- активации движка дополненной реальности в зависимости от совмещения указанного по меньшей мере одного характеристического измерения (3) реального объекта (1) с обнаруженным изображением (5).

9. Способ по предыдущему пункту, отличающийся тем, что он включает этапы:

- создания руководства, предпочтительно интерактивного, в электронном формате;

- связывания контента дополненной реальности с руководством посредством использования движка дополненной реальности;

- ввода указанного руководства с контентом дополненной реальности на сервер (8);

- ввода в электронное устройство (4) модуля для получения доступа к серверу (8);

- получения доступа к указанному руководству и движку дополненной реальности посредством использования электронного устройства (4).

10. Способ по предыдущему пункту, отличающийся тем, что он включает этап модифицирования контента дополненной реальности руководства посредством использования модуля для получения доступа к серверу (8).

11. Система для интерактивного просмотра и управления контентом дополненной реальности, содержащая сервер (8), электронное устройство (4), блок (10) управления данными, связанный с указанным сервером (8) и с указанным электронным устройством (4), модуль распознавания для дополненной реальности, связанный с указанным электронным устройством (4), и интерфейс (11) с указанным модулем распознавания для дополненной реальности, с целью выполнения этапов способа по любому из пп. 8, 9 или 10.