СПОСОБ ВОЗДЕЙСТВИЯ НА ВИРТУАЛЬНЫЕ ОБЪЕКТЫ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ Российский патент 2017 года по МПК G06T19/20 G06T15/00 G06K9/46 

Область техники, к которой относится изобретение.

Данное изобретение относится к способам, предназначенным для взаимодействия с виртуальными объектами, при которых располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности нераскрашенное плоское изображение объекта дополненной реальности, раскрашивают нераскрашенное изображение объекта дополненной реальности, определяют средствами устройства для создания и просмотра объектов дополненной реальности цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности, производят средствами устройства для создания и просмотра объектов дополненной реальности раскрашивание объекта дополненной реальности в соответствие с цветами, определенными на раскрашенном изображении, полученном от видеокамеры устройства для создания и просмотра дополненной реальности и может быть использовано, например, в средствах обучения.

В данной работе используются следующие термины.

Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.

Дополненная реальность — воспринимаемая смешанная реальность, создаваемая с использованием «дополненных» с помощью компьютера элементов воспринимаемой реальности (когда виртуальные объекты монтируются в поле восприятия).

Устройство для создания и просмотра объектов дополненной реальности – любое компьютерное устройство, имеющее в комплекте дисплей и видеокамеру, которое может передавать на дисплей изображение с видеокамеры в режиме реального времени и выводить на дисплей дополнительное виртуальное изображение. Типичный представитель такого устройства: смартфон, планшетный компьютер, компьютер с гарнитурой в виде очков дополненной реальности типа Google Glass и тому подобное.

Смартфон (англ. smartphone — умный телефон) — сотовый телефон, дополненный функциональностью карманного персонального компьютера.

Уровень техники.

В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров. При этом наиболее перспективным направлением развития выглядит создание дополненной реальности – то есть совмещение на дисплее компьютерного устройства или смартфона и очков виртуальной или дополненной реальности виртуальных объектов вместе с реальным изображением, получаемым в режиме реального времени с видеокамеры указанного устройства.

Кроме простого наблюдения за объектами дополненной реальности необходимо с ними взаимодействовать, то есть с помощью разных средств посылать управляющие сигналы, которые приводят к тому, объект дополненной реальности реагирует на воздействие.

Известен способ воздействия на виртуальные объекты дополненной реальности, при котором сам объект дополненной реальности раскрашивают в цвета, соответствующие цветам некоего раскрашенного плоского изображения, соответствующего объекту дополненной реальности. Например, учащийся берет лист бумаги с изображением некоего животного, раскрашивает его в цвета. И далее наблюдает раскрашенный рисунок через смартфон или очки дополненной реальности, при этом он видит трехмерное изображение этого животного, раскрашенное точно в те цвета, которые он использовал для раскраски рисунка.

Так известен способ воздействия на виртуальные объекты дополненной реальности, при котором:

• располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности нераскрашенное изображение объекта дополненной реальности,

• раскрашивают нераскрашенное плоское изображение объекта дополненной реальности,

• определяют средствами устройства для создания и просмотра объектов дополненной реальности цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности,

• производят средствами устройства для создания и просмотра объектов дополненной реальности раскрашивание объекта дополненной реальности в соответствие с цветами, определенными на раскрашенном изображении, полученном от видеокамеры устройства для создания и просмотра дополненной реальности.

Этот уровень техники раскрыт в публикации от 03.10.2015 в статье «Дополненная реальность для превращения раскрасок в трехмерный опыт», доступной по ссылке:

https://i-look.net/programs/augmented-reality-for-making-colouring-3d-experience.html

Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения.

Недостатком этого прототипа является невозможность управлять действиями или движениями объекта дополненной реальности в зависимости от цвета, в который раскрашено соответствующее ему плоское изображение этого объекта. Действительно, при любом варианте раскрашивания объект дополненной реальности одинаковый и отличается только своим цветом, действия или движения такого объекта никак не меняются.

Раскрытие изобретения.

Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ воздействия на виртуальные объекты дополненной реальности, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно, обеспечить возможность управления различными последовательностями действий объекта дополненной реальности с помощью цветовой гаммы раскрашенного плоского изображения объекта дополненной реальности, что и является поставленной технический задачей.

Для достижения этой цели выполняют следующие действия:

• до начала раскрашивания изображения объекта дополненной реальности формируют базу различных последовательностей действий объектов дополненной реальности,

• заранее устанавливают соответствие между цветом раскрашенного изображения и вариантом действий объектов дополненной реальности,

• в зависимости от цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности, активируют то или иное действие объекта дополненной реальности из базы различных последовательностей действий объектов дополненной реальности согласно установленному соответствию.

Благодаря данным выгодным характеристикам появляется возможность управлять объектами дополненной реальности путем раскрашивания соответствующего им плоского изображения. В зависимости от цвета, объект будет выполнять действия, соответствующие указанному цвету.

Существует вариант изобретения, в котором выбор из последовательностей действий объектов дополненной реальности осуществляют на основе преобладающего цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности

Благодаря данной выгодной характеристике появляется возможность указания одного из вариантов алгоритма, по которому можно будет решать задачу: какой вариант действий объекта дополненной реальности активизировать, если изображение раскрашено в разные цвета. В данном варианте объект дополненной реальности будет всегда действовать согласно соответствию с преобладающим на плоском изображении цветом.

Существует также вариант изобретения, в котором дополнительно разбивают раскрашиваемое плоское изображение на фрагменты, каждому фрагменту ставят в соответствие элемент объекта дополненной реальности, до начала раскрашивания фрагмента плоского изображения объекта дополненной реальности формируют базу различных последовательностей действий элементов объектов дополненной реальности, заранее устанавливают соответствие между цветом раскрашенного фрагмента изображения и вариантом действий элементов объектов дополненной реальности, в зависимости от цвета на фрагментах плоских изображений, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности, активируют то или иное действие элемента объекта дополненной реальности из базы различных последовательностей действий элементов объектов дополненной реальности, согласно установленному соответствию для фрагментов.

Благодаря данным выгодным характеристикам появляется возможность указания альтернативного варианта алгоритма, по которому можно будет решать задачу: какой вариант действий объекта дополненной реальности активизировать, если изображение раскрашено в разные цвета. В данном варианте, заранее разделяют объект на отдельные элементы и уже каждому элементу ставят в соответствие свой цвет соответствующего раскрашенного фрагмента изображения. Тогда возможен вариант, когда общее действие объектов дополненной реальности будет являться суперпозицией действий отдельных элементов объектов дополненной реальности.

Существует еще один вариант изобретения, в котором дополнительно используют преобразование цвета плоского изображения объекта дополненной реальности в цветовую схему, имеющую в виде трех числовых компонент: цветовой тон, насыщенность и яркость.

Благодаря данной выгодной характеристике появляется возможность более ясного соответствия действий объекта дополненной реальности в зависимости от цветового тона, насыщенности и яркости.

Существует кроме того вариант изобретения, в котором дополнительно определяют параметр насыщенности фрагментов раскрашенного плоского изображения, и сигнализируют пользователю о том, что фрагмент не раскрашен в ситуации, когда насыщенность фрагментов раскрашенного плоского изображения меньше указанного значения.

Благодаря данной выгодной характеристике появляется возможность указания пользователю о том, что он забыл раскрасить какой-то фрагмент плоского изображения.

Существует кроме прочего вариант изобретения, в котором используют алгоритмы улучшения качества раскрашенного плоского изображения (автоматический баланс белого цвета, автоматический баланс тона).

Благодаря данной выгодной характеристике появляется возможность сделать изображение объекта дополненной реальности более ярким и насыщенным, нежели реальные цвета на раскрашенном изображении.

Краткое описание чертежей.

Другие отличительные признаки и преимущества данного изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 изображает схему устройства для воздействия на виртуальные объекты дополненной реальности согласно изобретению,

- фигура 2 схематично изображает этапы способа воздействия на виртуальные объекты дополненной реальности согласно изобретению,

- фигура 3 схематично изображает еще один вариант этапов способа воздействия на виртуальные объекты дополненной реальности согласно изобретению.

Согласно фигуре 1 устройства для воздействия на виртуальные объекты дополненной реальности представляет собой смартфон 1, видеокамера которого направлена на раскрашенное изображение 2, и на дисплее 3 которого показано раскрашенное изображение, позиция 4. В соответствии с цветом раскрашенного изображения на дисплее 3 выводится изображение виртуального объекта дополненной реальности 5, соответствующему изображению 2, и раскрашенного в те же цвета.

Осуществление изобретения.

Способ воздействия на виртуальные объекты дополненной реальности работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения, имея в виду, что данный пример не ограничивает применения изобретения.

Согласно фигуре 2:

Пример 1.

Этап А1. До начала раскрашивания изображения объекта дополненной реальности формируют базу различных последовательностей действий объектов дополненной реальности.

Этап А2. Заранее устанавливают соответствие между цветом раскрашенного изображения и вариантом действий объекта дополненной реальности.

Этап А3. Располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности нераскрашенное изображение объекта дополненной реальности.

Этап А4. Раскрашивают средствами устройства для создания и просмотра объектов дополненной реальности нераскрашенное плоское изображение объекта дополненной реальности.

Этап А5. Определяют средствами устройства для создания и просмотра объектов дополненной реальности цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности.

Этап А51. Дополнительно используют преобразование цвета плоского изображения объекта дополненной реальности в цветовую схему, имеющую в виде трех числовых компонент: цветовой тон, насыщенность и яркость.

Этап А52. Дополнительно определяют параметр насыщенности фрагментов раскрашенного плоского изображения, и сигнализируют пользователю о том, что фрагмент не раскрашен в ситуации, когда насыщенность фрагментов раскрашенного плоского изображения меньшей указанного параметра.

Этап А53. Используют алгоритмы улучшения качества полученного раскрашенного плоского изображения. Для этого может быть использована линейная коррекция яркости и контраста, степенная (гамма) коррекция, или логарифмическая коррекция, а также алгоритм, который выравнивает освещенность изображения, сохраняя локальный контраст в плохо и ярко освещенных областях, или автоматический баланс белого цвета, автоматический баланс тона или любой другой алгоритм улучшения качества полученного раскрашенного плоского изображения.

Этап А6. Производят раскрашивание объекта дополненной реальности в соответствие с цветами, определенными на раскрашенном изображении, полученном от видеокамеры устройства для создания и просмотра дополненной реальности.

Этап А7. В зависимости от цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности, активируют то или иное действие объекта дополненной реальности из базы различных последовательностей действий объектов дополненной реальности, согласно установленному соответствию.

Этап А8. Выбор из последовательностей действий объектов дополненной реальности осуществляют на основе преобладающего цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности.

Пример 2.

Этап В1. Разбивают раскрашиваемое плоское изображение на фрагменты.

Этап В2. Каждому фрагменту ставят в соответствие элемент объекта дополненной реальности.

Этап В3. До начала раскрашивания фрагмента плоского изображения объекта дополненной реальности формируют базу различных последовательностей действий элементов объектов дополненной реальности.

Этап В4. Заранее устанавливают соответствие между цветом фрагментов раскрашенного изображения и вариантом действий элементов объекта дополненной реальности.

Этап В5. Располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности нераскрашенное изображение объекта дополненной реальности.

Этап В6. Раскрашивают фрагменты нераскрашенного плоского изображения объекта дополненной реальности.

Этап В7. Определяют цвета на изображениях фрагментов, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности.

Этап В71. Дополнительно используют преобразование цвета плоского изображения фрагментов объекта дополненной реальности в цветовую схему, имеющую в виде трех числовых компонент: цветовой тон, насыщенность и яркость.

Этап В72. Дополнительно определяют параметр насыщенности фрагментов раскрашенного плоского изображения, и сигнализируют пользователю о том, что фрагмент не раскрашен в ситуации, когда насыщенность фрагментов раскрашенного плоского изображения меньшей указанного параметра.

Этап В73. Используют алгоритмы улучшения качества раскрашенного плоского изображения (автобаланс белого, автотон).

Этап В8. Производят раскрашивание элементов объекта дополненной реальности в соответствие с цветами, определенными на фрагментах раскрашенного изображения, полученных от видеокамеры устройства для создания и просмотра дополненной реальности.

Этап В9. В зависимости от цвета на фрагментах изображений, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности, активируют то или иное действие элемента объекта дополненной реальности из базы различных последовательностей действий элементов объектов дополненной реальности, согласно установленному соответствию.

Этап В10. Выбор из последовательностей действий элементов объектов дополненной реальности осуществляют на основе преобладающего цвета на фрагментах изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности.

Очевидно, что оценка цвета, в который окрашен тот или иной фрагмент изображения подразумевает под собой не точечное сравнение цвета, а примерную оценку соответствия обнаруженного цвета определённому фиксированному набору.

Критическим моментом здесь является выбор цветовой модели в которой будет производится сравнение. Большая часть изображений в современных вычислительных устройствах хранится в модели RGB - где каждый цвет раскладывается на три составляющих (красный-синий-зеленый) и в таком виде записывается. Но такая модель в нашей ситуации не выглядит достаточно удобной. Наиболее привлекательными выглядят модели HLS и HSB, которые хранят цвет также в виде трех числовых компонент, однако же компоненты эти описывают цветовой тон, насыщенность и яркость.

В таком виде данные о цвете оптимально подходят для анализа - по цветовому тону (фактически, можно понимать цветовой тон, как точку на радуге) можно определить цвет фломастера или карандаша, использованного для раскрашивания, насыщенность позволяет по фиксированному порогу (например, в 0.5) позволяет определить действительно ли область окрашена, или это может быть особенность освещения (бумага при комнатном освещении часто отсвечивает рыжим).

Компоненту яркости можно использовать различными способами - и для того, чтобы отличить светло синий от темно синего, и для отсечения "неинтересных" для нас цветов - таких, как белый и чёрный (изначальные цвета нераскрашенного плоского изображения).

Также целесообразно избегать ошибок оценки освещенности посредством алгоритмов баланса белого, с точечным (по наиболее яркой точке) или множественным (на основе например краев сканируемого листа бумаги) замером.

Множественный замер очевидным образом будет давать лучшее качество, так как сканируемый лист бумаги не всегда освещён равномерно. Оптимальное решение может выглядеть как взвешенный замер по всей сканируемой области, с последующим построением карты освещенности, очистке её от шума и её компенсации, для получения наиболее близкого к реальности изображения сканируемой страницы.

Во всех примерах для размещения объектов дополненной реальности на реальных объектах (например, на столе), также выполняют следующие операции:

1. Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы

2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства,

3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат.

4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.

Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействия с виртуальными объектами.

Промышленная применимость.

Предлагаемый способ воздействия на виртуальные объекты дополненной реальности может быть осуществлен специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

В соответствии с предложенным изобретением изготовлен опытный образец устройства, реализующего предлагаемый способ. Испытания опытного образца показали, что он обеспечивает возможность:

- раскрашивания объекта дополненной реальности или элемента такого объекта в цвет плоского изображения,

- определения цвета раскрашенного плоского изображения,

- определения в базе данных последовательности действий объекта дополненной реальности, соответствующей определенному цвету,

- выполнения указанной последовательности действий, соответствующей определенному цвету, объектом дополненной реальности.

Пример реализации 1. Созданный в качестве объекта дополненной реальности виртуальный дракон при раскраске его в розовые тона танцует стилизованно под то, как это могла бы делать маленькая девочка. А при окраске преимущественно в синие, изображает дерущегося мальчика.

Пример реализации 2. Созданное в качестве объекта дополненной реальности виртуальное вымышленное животное при раскраске губ на плоском изображении ярким красным цветом изображает воздушный поцелуй.

Пример реализации 3. См. фиг. 1. Созданная в качестве объекта дополненной реальности виртуальная ракета взлетает или взрывается в зависимости от раскрашенного цвета.

Таким образом, в данном изобретении достигнута поставленная задача – обеспечение возможности управления различными последовательностями действий объекта дополненной реальности с помощью цветовой гаммы раскрашенного плоского изображения объекта дополненной реальности.

Изобретение относится к области взаимодействия с виртуальными объектами. Технический результат – обеспечение управления различными последовательностями действий объекта дополненной реальности с помощью цвета раскрашенного плоского изображения этого объекта. В способе воздействия на виртуальные объекты дополненной реальности располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности нераскрашенное изображение объекта дополненной реальности, раскрашивают нераскрашенное плоское изображение объекта, определяют средствами устройства для создания и просмотра объектов цвета на изображениях, полученных от видеокамеры, производят средствами устройства для создания и просмотра объектов раскрашивание объекта в соответствие с цветами, определенными на раскрашенном изображении, причем до начала раскрашивания изображения объекта формируют базу различных последовательностей действий объектов дополненной реальности, заранее устанавливают соответствие между цветом раскрашенного изображения и вариантом действий объектов, в зависимости от цвета на изображениях активируют действие объекта из базы различных последовательностей действий объектов. 5 з.п. ф-лы, 3 ил.

1. Способ воздействия на виртуальные объекты дополненной реальности, при котором:

располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности нераскрашенное изображение объекта дополненной реальности,

раскрашивают нераскрашенное плоское изображение объекта дополненной реальности,

определяют средствами устройства для создания и просмотра объектов дополненной реальности цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности,

производят средствами устройства для создания и просмотра объектов дополненной реальности раскрашивание объекта дополненной реальности в соответствие с цветами, определенными на раскрашенном изображении, полученном от видеокамеры устройства для создания и просмотра дополненной реальности, отличающийся тем, что

до начала раскрашивания изображения объекта дополненной реальности формируют базу различных последовательностей действий объектов дополненной реальности,

заранее устанавливают соответствие между цветом раскрашенного изображения и вариантом действий объектов дополненной реальности,

в зависимости от цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности, активируют то или иное действие объекта дополненной реальности из базы различных последовательностей действий объектов дополненной реальности, согласно установленному соответствию.

2. Способ по п.1, отличающийся тем, что выбор из последовательностей действий объектов дополненной реальности осуществляют на основе преобладающего цвета на изображениях, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности.

3. Способ по п.1, отличающийся тем, что дополнительно разбивают раскрашиваемое плоское изображение на фрагменты,

каждому фрагменту ставят в соответствие элемент объекта дополненной реальности,

до начала раскрашивания фрагмента плоского изображения объекта дополненной реальности формируют базу различных последовательностей действий элементов объектов дополненной реальности,

заранее устанавливают соответствие между цветом раскрашенного фрагмента изображения и вариантом действий элементов объектов дополненной реальности,

в зависимости от цвета на фрагментах плоских изображений, полученных от видеокамеры устройства для создания и просмотра объектов дополненной реальности, активируют то или иное действие элемента объекта дополненной реальности из базы различных последовательностей действий элементов объектов дополненной реальности, согласно установленному соответствию для фрагментов.

4. Способ по п.1, отличающийся тем, что дополнительно используют преобразование цвета плоского изображения объекта дополненной реальности в цветовую схему, имеющую в виде трех числовых компонент: цветовой тон, насыщенность и яркость.

5. Способ по п.4, отличающийся тем, что дополнительно определяют параметр насыщенности фрагментов раскрашенного плоского изображения и сигнализируют пользователю о том, что фрагмент не раскрашен в ситуации, когда насыщенность фрагментов раскрашенного плоского изображения меньше указанного параметра.

6. Способ по п.4, отличающийся тем, что используют алгоритмы улучшения качества полученного раскрашенного плоского изображения (автоматический баланс белого цвета, автоматический баланс тона).