СИСТЕМА ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ Российский патент 2019 года по МПК G06T15/08 G06K9/28 

Изобретение относится к компьютерным системам, а именно к системам виртуальной реальности, и предназначено, в частности, для создания игровых симуляторов.

В описании использованы следующие термины и сокращения.

Пантон (Pantone) - цветовая модель Пантон, система PMS (англ. Pantone Matching System) - стандартизованная система подбора цвета, разработанная американской фирмой Pantone Inc в середине XX века.

Bluetooth (от слов англ. blue - синий и tooth - зуб) - производственная спецификация беспроводных персональных сетей.

Wi-Fi (англ. Wireless Fidelity - дословно «беспроводное качество» или «беспроводная точность») - торговая марка Wi-Fi Alliance для беспроводных сетей на базе стандарта IEEE 802.11.

Наиболее близким аналогом заявляемого изобретения является техническое решение из патента US 8206266. Система содержит компьютерный модуль, трамплин для упражнений, модуль с датчиками для определения перемещений пользователя на трамплине. Модуль с датчиками передает информацию компьютерному модулю для отображения аватара пользователя на мониторе в зависимости от движений пользователя. В качестве датчиков могут быть использованы нательные датчики, датчики на трамплине и датчики дистанционного обзора.

Однако в данном решении использовано большое количество датчиков, что усложняет работу системы, и требует точной настройки и калибровки, без которых значительно снижается точность распознавания образов, захвата движения и, соответственно, некорректная генерация виртуальной реальности. Данное решение является достаточно сложным и громоздким техническим сооружением, которое требует внесения изменений в сам батут, имплементацией датчиков натяжения, а также установки над батутом инфракрасных датчиков контроллеров, отслеживающих инфракрасные метки на специальных перчатках, на наголовнике и на руках. Калибровка данного решения перед практическим использованием требует достаточно тонких и продолжительных настроек под каждого игрока, т.к. датчики натяжения батута по-разному будут реагировать на людей с разным физическим весом. Кроме того, инфракрасные датчики могут захватывать и неправильно идентифицировать помехи от солнечных бликов и мощного светового оборудования. Все это накладывает существенные ограничения на мобильность, транспортировку, монтаж и интенсивность использования данного решения.

Техническая проблема, на решение которой направлено заявляемое изобретение, заключается в создании системы виртуальной реальности с простой калибровкой захвата движения.

Техническим результатом заявляемого изобретения является упрощение калибровки системы при упрощении конструкции без потери точности распознавания движений пользователя на батуте.

Указанный технический результат достигается за счет того, что система виртуальной реальности для батута содержит видеокамеру, средство формирования изображения, носимый элемент выполнен в виде метки размером 200×200 мм флуоресцентного цвета, и устройство обработки данных, выполненное с возможностями: получения информации от видеокамеры, распознавания флуоресцентного цвета носимого элемента и вывода на средство формирования изображения, при этом система выполнена с возможностью калибровки перед использованием, причем калибровка включает идентификацию игрока, размещенного на расстоянии 2-3 метра от видеокамеры, по носимому элементу флуоресцентного цвета, и определение периметра прыжкового полотна батута и нижней вертикальной границы прыжка, которая устанавливается в зависимости от уровня подготовленности игроков.

Видеокамера может быть выполнена в виде или цифровой камеры, или в виде контроллера Kinect, или в виде веб-камеры.

Носимый элемент может быть выполнен в виде жилета.

Система может дополнительно содержать спортивный инвентарь.

Устройство обработки данных может быть выполнено в виде персонального компьютера или мобильного устройства.

Устройство обработки данных может быть снабжено программным обеспечением создания виртуальной реальности на основе данных, получаемых от видеокамеры.

Средство формирования изображения может быть выполнено в виде дисплея или проектора.

Заявляемая система обеспечивает решение, которое максимально упрощает игровой комплекс, дает возможность его применения не только в самых разных условиях, но и унифицирует его для интенсивного использования большим количеством участников без индивидуальных калибровок и настроек.

Использование флуоресцентного цвета носимого элемента повышает точность распознавания данного носимого элемента как цветового маркера для программного обеспечения распознавания образов и создания виртуальной реальности, что было доказано экспериментально.

Наилучший вариант реализации заявляемого изобретения показан на фиг. 1-17, на которых изображены:

Фиг. 1 - система виртуальной реальности;

Фиг. 2-5 - фотографии батутных центров;

Фиг. 6-17 - фотографии экспериментов.

На фиг. 1 позициями 1-5 показаны:

1 - видеокамера;

2 - дисплей;

3 - носимый элемент;

4 - устройство обработки данных;

5 - спортивный инвентарь.

Система виртуальной реальности содержит видеокамеру 1, дисплей 2, носимый элемент 3, выполненный флуоресцентного цвета с возможностью фиксации на пользователе (игроке), и устройство обработки данных 4, выполненное с возможностью получения информации от видеокамеры 1, распознавания флуоресцентного цвета носимого элемента 3 и вывода на дисплей 2.

В данном случае видеокамера 1 выполнена в виде веб-камеры. Однако видеокамера 1 может быть выполнена в виде цифровой камеры, контроллера Kinect и других подходящих устройств.

В данном случае средство формирования изображения выполнено в виде дисплея 2, но может представлять собой и проектор, например, кинопроектор с экраном или лазерный проектор.

Носимый элемент 3 в данном случае выполнен в виде жилета, однако может быть выполнен в виде повязки, футболки или другого элемента одежды, а также куска самоклеящейся бумаги или пленки.

В данном случае система содержит спортивный инвентарь 5 в виде батута. В качестве спортивного инвентаря 5 могут быть использованы и другие устройства, например, беговая дорожка или велотренажер. Система может быть использована и без спортивного инвентаря, когда пользователь перемещается по полу.

В данном случае устройство обработки данных 4 выполнено в виде персонального компьютера, а именно ноутбука. Однако устройство обработки данных 4 может быть выполнено в виде мобильного устройства или самостоятельного устройства управления, содержащего микропроцессор.

Устройство обработки данных 4 в данном случае снабжено программным обеспечением создания виртуальной реальности на основе данных, получаемых от видеокамеры, в частности компьютерной игры.

Устройство обработки данных 4 связано с видеокамерой 1 и дисплеем 2 проводным или беспроводным соединением, например, с помощью протоколов Bluetooth или Wi-Fi.

Для доказательства повышения точности распознавания носимого элемента 3 именно флуоресцентного цвета был проведен ряд испытаний. При проведении экспериментов использовалось самостоятельно написанное программное обеспечение распознавания цвета, которое идентифицирует пользователя по цветовой метке - носимому элементу 3, которая должна выделяться на фоне других цветов различных предметов, расположенных в поле обзора видеокамеры. Однако для различных применений может быть использовано и другое программное обеспечение распознавания цвета.

Было проведено исследование нескольких крупных батутных центров на определение основных цветов батутов, страховочных матов и стен.

Как видно на фиг. 2-5, батутные центры оформлены в ярких цветах практически всего цветового диапазона с преобладанием красного, зеленого, желтого, оранжевого и синего.

Сложность работы программы распознавания цвета заключалась в том, что в поле зрения камеры одновременно могло попадать от двух до пяти разных цветов. Была поставлена задача выделить один или несколько универсальных цветовых пантонов, при использовании которых другие цвета предметов батутного центра не вызывали бы помех, влияющих на корректную работу программы.

С этой целью была проведена серия практических опытов с цветовой мишенью, на которой были нанесены маркеры основных цветов.

Технология опытов заключалась в последовательном сравнении разных цветовых меток и выявлении помех в программе распознавания цвета от цветов одной гаммы на цветовой мишени. На фиг. 6-17 приведены результаты тестирования с фото цветовой мишени, меток разных цветов на человеке, а также вид экрана программы распознавания.

На фиг. 6-7 показан тест с оранжевым цветом. При тестировании метки оранжевого цвета создается мощная помеха от оранжевого на цветовой мишени, что влечет за собой некорректную работу программного обеспечения системы. При этом другие цвета мишени не вызывают помех при работе с оранжевой меткой.

На фиг. 8-9 показан тест с желтым цветом. Желтая цветовая метка также вызвала две помехи от желтой гаммы цветов на мишени. Результат -некорректная работа программного обеспечения системы.

На фиг. 10-11 показан тест с зеленым цветом. Зеленая метка сочетается с помехой от зеленого цвета мишени. Результат - некорректная работа программного обеспечения системы.

На фиг. 12-13 показан тест с оранжевым неоновым цветом, являющийся флуоресцентным. Программа четко работает с неоновым оранжевым цветом и помех ни от одного, даже красного и оранжевого цветов мишени нет. Результат - корректная работа программного обеспечения системы.

На фиг. 14-15 показан тест с лимонным неоновым цветом, являющийся флуоресцентным. Тестирование метки цвета лимонный неон показала, что желтые цвета мишени дают незначительные помехи, но они не оказывают влияния на корректность работы программы.

На фиг. 16-17 показан тест с красным неоновым цветом, являющийся флуоресцентным. Метка цвета красного неона не была подвержена помехам красного и оранжевого цветового спектров мишени. Результат - корректная работа программы.

Результаты тестов сведены в таблицу 1.

Обобщение результатов экспериментов свидетельствует о том, что все цвета неонового (флуоресцентного) спектра являются универсальными и могут использоваться в качестве меток игроков в любых помещениях. Причем цвет неона не вызывает помех от такого же цвета обычного пантона.

Таким образом, использование носимого элемента повышает универсальность его использования и использования системы в целом без потери точности распознавания.

Опытным путем было установлено, что размер метки имеет значение для повышения точности идентификации цвета и корректной работы программы. Для повышения точности идентификации игрока требуется использовать цветовую метку из любого материала (ткань, бумага, пленка) размером 200×200 мм. При меньших размерах программа распознает цвет не полностью, и присутствуют помехи от самой метки. Кроме того при маленьких размерах метки программа распознает и отображает движения игрока с запаздыванием.

Полученные данные позволяют аппроксимировать результаты на любые помещения, не только содержащие яркие цвета, в частности батутные центры. Специалисту в данной области техники понятно, что носимый элемент флуоресцентного цвета может быть использован в любых система виртуальной реальности, где требуется распознавание образа по цвету.

Система работает следующим образом.

Принцип работы комплекса состоит в том, что игровой аватар на экране дисплея 2 управляется игроком, в данном случае человеком на батуте посредством прыжков. Прыжки детектируются видеокамерой 1, установленной напротив батута - спортивного инвентаря 5. На игрока закрепляется цветовая метка - носимый элемент 3, например, жилет. Детектирование игрока осуществляется по данной цветовой метке.

Настройка системы перед практическим использованием проста. Игрок с цветовой меткой размещается в центре батута на расстоянии 2-3 метра от видеокамеры 1, и оператор игры производит калибровку программы.

Первый уровень - калибровка идентификации игрока по цветовой метке. Второй уровень калибровки - выставление в программе ширины игровой зоны, совпадающей с периметром прыжкового полотна батута и нижней вертикальной границей прыжка, которая устанавливается в зависимости от уровня подготовленности игроков либо для взрослых, либо для детей. Калибровка программы не превышает одной минуты. Далее программа переводится в рабочий режим.

Компьютерная игровая программа позволяет/отображает:

- Видео с камеры-детектора.

- Видео с сегментацией по цветовому ключу.

- Гистограммы распределения цвета на кадре.

- Отображение центра-массы заданного цвета жилета.

- Прямоугольные области, отвечающие за расположение игрока/персонажа на левой (красная область), центральной (зеленая область), правой (синяя область) дорожке. Перемещение центра масс в ту или другую область приводит к переходу игрового персонажа на соответствующую дорожку в игре.

- Уровень прыжка. Все движение ниже этой линии отфильтровывается. Пересечение этой линии расценивается как прыжок игрового персонажа.

Размер экрана дисплея может быть любым в зависимости от помещения или пространства, в котором расположена игровая система. Наиболее простое решение - обычный экран с проектором. Мощность проектора при наличии искусственного освещения в зале от 3300 до 3500 ANSI люмен. Возможна установка плазменной панели или светодиодного экрана.

В качестве веб-камеры рекомендуется любая из веб-камер премиум-класса: матрица в 2 Мп, с максимальным разрешением снимаемого видео 1920×1080 (Full HD), а разрешение фото (при программной обработке) - до 15 Мп, объектив с автофокусом и функцией слежения за лицом.

Системные требования к устройству обработки данных: рекомендуется Core i5-6300HQ 2.3ГГц ОС Windows, оперативная память - от 2 Гбайт.

Расстояние от веб-камеры до игрока оптимально составляет два-три метра.

Компьютерная программа позволяет менять сценарии игры, игровых аватаров, сложность игрового маршрута, виды и количество улавливаемых в ходе прыжка предметов. Игровая система позволяет настраивать программу игры индивидуально в зависимости от степени подготовленности игроков к различным видам прыжков на батуте.

Таким образом, предложенное решение является уникальным и позволяет максимально широко внедрять его как для физических тренировок, например, на профессиональном батуте, так и в развлекательных игровых целях для взрослых и детей. Наличие недорогого комплекта оборудования и программного обеспечения, простота калибровки и управления делает ее доступной как для батутных центров, так и для личного пользования частных потребителей, позволяет повысить универсальность без потери точности распознавания движений пользователя на батуте.

Приведенные примеры являются частными случаями и не исчерпывают всех возможных реализаций заявляемого изобретения.

Специалисту в данной области техники должно быть понятно, что различные вариации заявляемой системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения.

Изобретение относится к компьютерным системам, а именно к системам виртуальной реальности, и предназначено, в частности, для создания игровых симуляторов. Технический результат заключается в упрощении калибровки системы при упрощении конструкции без потери точности распознавания. Технический результат достигается за счет системы виртуальной реальности для батута, содержащей видеокамеру, средство формирования изображения, носимый элемент выполнен в виде метки размером 200×200 мм флуоресцентного цвета, и устройство обработки данных, выполненное с возможностями: получения информации от видеокамеры, распознавания флуоресцентного цвета носимого элемента и вывода на средство формирования изображения, при этом система выполнена с возможностью калибровки перед использованием, причем калибровка включает идентификацию игрока, размещенного на расстоянии 2-3 м от видеокамеры, по носимому элементу флуоресцентного цвета, и определение периметра прыжкового полотна батута и нижней вертикальной границы прыжка, которая устанавливается в зависимости от уровня подготовленности игроков. 8 з.п. ф-лы, 17 ил., 1 табл.

1. Система виртуальной реальности для батута, характеризующаяся тем, что содержит видеокамеру, средство формирования изображения, носимый элемент выполнен в виде метки размером 200×200 мм флуоресцентного цвета, и устройство обработки данных, выполненное с возможностями: получения информации от видеокамеры, распознавания флуоресцентного цвета носимого элемента и вывода на средство формирования изображения, при этом система выполнена с возможностью калибровки перед использованием, причем калибровка включает идентификацию игрока, размещенного на расстоянии 2-3 м от видеокамеры, по носимому элементу флуоресцентного цвета, и определение периметра прыжкового полотна батута и нижней вертикальной границы прыжка, которая устанавливается в зависимости от уровня подготовленности игроков.

2. Система по п. 1, характеризующаяся тем, что видеокамера выполнена в виде цифровой камеры.

3. Система по п. 1, характеризующаяся тем, что видеокамера выполнена в виде контроллера Kinect.

4. Система по п. 1, характеризующаяся тем, что видеокамера выполнена в виде веб-камеры.

5. Система по п. 1, характеризующаяся тем, что дополнительно содержит спортивный инвентарь.

6. Система по п. 1, характеризующаяся тем, что устройство обработки данных выполнено в виде персонального компьютера.

7. Система по п. 1, характеризующаяся тем, что устройство обработки данных выполнено в виде мобильного устройства.

8. Система по п. 1, характеризующаяся тем, что средство формирования изображения выполнено в виде дисплея.

9. Система по п. 1, характеризующаяся тем, что средство формирования изображения выполнено в виде проектора.