МОБИЛЬНЫЙ МУЛЬТИМЕДИЙНЫЙ КОМПЛЕКС Российский патент 2022 года по МПК G09B19/10 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности, к мобильным системам для создания виртуального пространства.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, US 2011205341 (A1), опубл. 25.08.2011. Данное решение относится к архитектурам, сочетающим в себе несколько камер глубины и несколько проекторов для покрытия определенного пространства, что позволяет разрабатывать многомерные (например, 3D) модели объектов в пространстве, а также дает возможность управлять графикой на одних и тех же объектах. Архитектура объединяет данные о глубине со всех камер глубины, а также информацию о цвете в единую многомерную модель в сочетании с откалиброванными проекторами.

Предлагаемое техническое решение направлено на устранение недостатков современного уровня техники и отличается от известных ранее тем, что предложенное решение обеспечивает мобильную систему для создания виртуального пространства.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание мобильной системы для создания виртуального пространства.

Технический результат заключается в повышении мобильности системы для создания виртуального пространства.

Дополнительным техническим результатом является упрощение конструкции системы для создания виртуального пространства, поскольку при взаимодействии с виртуальным пространством системы, пользователям не требуются носимые устройства (например, VR шлемы, перчатки, датчики положения и т.д.).

Заявленные технические результаты достигаются за счет осуществления мобильной системы для создания виртуального пространства, которая содержит:

блок камер захвата движений 101, состоящий, по меньшей мере, из одной камеры захвата движений, причем блок камер захвата движений выполнен с возможностью приема видеоданных 111;

блок сенсорных систем 102, состоящий, по меньшей мере, из одной сенсорной системы, принимающий сенсорные данные 112 для создания сенсорного пространства;

блок проекционных систем 103, состоящий, по меньшей мере, из двух проекторов, проецирующих виртуальное пространство на поверхности 121;

акустическую систему 104, состоящую, по меньшей мере, из четырех колонок, генерирующих объемный звук 122;

систему управления 105, являющуюся ядром системы и осуществляющую взаимосвязь всех компонентов системы для создания виртуального пространства;

мобильную сборно-разборную конструкцию 140, являющуюся несущим элементом для крепления элементов системы для создания виртуального пространства, причем мобильная сборно-разборная конструкция выполнена с возможностью крепления поверхностей для проецирования виртуального пространства.

В частном варианте реализации описываемой системы, мобильная сборно-разборная конструкция реализована в виде фермовой конструкции.

В другом частном варианте реализации описываемой системы, поверхность для проецирования виртуального пространства - это проекционное полотно.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1, иллюстрирует структурную схему мобильной системы.

Фиг. 2, иллюстрирует взаимосвязь мобильной конструкции и аппаратной части комплекса.

Фиг. 3, иллюстрирует структурную схему процессов, происходящих при взаимодействии между одним или более пользователями и элементами системы.

Фиг. 4, иллюстрирует пример общей схемы вычислительного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Настоящее техническое решение представляет собой аппаратный комплекс, создающий интерактивное виртуальное пространство, за счет которого пользователь может находиться в виртуальном пространстве и взаимодействовать генерируемыми системой элементами. Симуляция пространства обеспечивается проекцией изображений на физические поверхности и системой пространственного звука. Взаимодействие с окружением обеспечивается посредством технологии определения положения пользователя и частей его тела в пространстве и/или посредством сенсорной системы.

Система 100 на Фиг. 1 является типичным аппаратным обеспечением для реализации описанных ниже процессов. Система содержит следующие технические элементы.

Блок камер захвата движений 101, состоящий из одной или более камер, принимающий видеоданные 111 (могут использоваться: RGB камеры, инфракрасные камеры, в том числе RGB камеры с ИК подсветкой и тепловизоры, датчики глубины (могут быть как отдельными устройствами, так и устройствами встроенными в существующую RGB или ИК камеру (например, Azure Kinect))). Камеры захвата движений предпочтительно крепятся на верхней раме мобильной конструкции таким образом, чтобы блок захватывал максимально возможное пространство с разных ракурсов.

Блок сенсорных систем 102, состоящий из одной или более сенсорной системы, принимающий сенсорные данные 112 (для создания сенсорного пространства). Возможно использование следующих двух сенсорных систем. Сенсорная пленка, которая наклеивается на поверхность и фиксирует прикосновение за счет разницы емкостей между слоями и система из разнесенных ИК датчиков, которые создают между собой лазерную сетку и фиксируют не прикосновение, а попадание объекта в пространство (например, Surfancy). Необходимо отметить, что фактически, может использоваться любая система, которая может фиксировать и передавать прикосновения в 2х осевой системе координат. Сенсорные системы крепятся к стене попарно друг напротив друга, либо с левой и правой стороны стены, либо сверху и снизу. Второй вариант предпочтительней, поскольку в большинстве случаев ширина стены больше, чем максимально допустимая дальность расположения планок друг от друга.

Блок проекционных систем 103, состоящий из двух или более проекторов, проецирующие виртуальное пространство на поверхности 121. Могут использоваться короткофокусные и ультракороткофокусные проекторы, которые позволяют «раскрыть» изображение на небольшом расстоянии между проектором и поверхностью (например, Optoma ZH406ST). Проекторы крепятся на верхней раме конструкции таким образом, чтобы:

- проектор висел напротив поверхности;

- каждый проектор находился на максимальном отдалении от проецируемой поверхности для лучшего раскрытия изображения;

- изображения от проекторов не перекрывали друг друга.

Акустическая система 104, состоящая из четырех или более колонок, генерирующая объемный звук 122. Может использоваться любая акустическая система, позволяющая создать объемный звук 4.0 и выше. Акустическая система крепится на верхней или боковой раме конструкции в верхних углах комплекса.

Система управления 105 является ядром системы и осуществляет взаимосвязь элементов комплекса. Система управления представляет собой медиасервер, технические характеристики которого должны обеспечивать устойчивую работу систем комплекса в зависимости от его размеров и наполнения оборудованием. Система управления может обмениваться сигналами с дополнительными элементами взаимодействия 131, такими как телефон, планшет, тактовые кнопки, дополнительные системы управления элементами.

Связь между элементами системы может осуществляться как проводным, так и беспроводным путем.

- Система передачи данных между проекционной системой 103 и системой управления 105 должна передавать видеопоток в разрешении 4К (3840 х 2160 пикселей) со скоростью не менее 60 кадров в секунду (стандарт HDMI версии не ниже 2.0).

- Система передачи данных между блоком камер захвата движений 101 и системой управления 105 должны передавать видеопоток со скоростью не менее 4 Гбит\сек (стандарт USB версии не ниже 3.0).

Система управления 105 обеспечивает прием, обработку и передачу данных, между элементами системы через одно или более соединений. Примеры таких сетей включают в себя любые типы проводных и беспроводных систем. Система управления 105 включает в себя рабочую память, хранилище для хранения данных и программного обеспечения, микропроцессоры для исполнения инструкций, графические процессоры и прочие компоненты для рендера и генерации графики, изображений, аудио и видео файлов.

Система управления содержит набор программного обеспечения, компоненты которой могут включать одну или несколько функций:

- Генерация визуального контента для симуляции виртуальных пространств и передачи его на вывод в блок проекционных систем 103;

- Генерация и передача в акустическую систему 104 аудиосигнала, в том числе, но не ограничиваясь: звуковых пресетов, музыки, голосовых записей, midi сигналов;

- Обработка поступающих сигналов с блока сенсорных систем 102, определение точек касания в выбранной системе координат и запуск сценариев взаимодействия;

- Обработка поступающих сигналов с блока камер захвата движений 101, определение положения в пространстве одного или более пользователей, в том числе анализ положения частей скелета и последующий запуск сценариев взаимодействия;

- Обработка и отправка сигналов на дополнительные элементы взаимодействия 131.

Описанные системы физически мобильны и взаимосвязаны с мобильной конструкцией, указанной на Фиг. 2. Мобильная конструкция 201 создает физическое пространство, внутри которого разворачивается виртуальное пространство. Мобильная конструкция 201 может реализовываться в качестве фермовой конструкции (инженерное решение, позволяющие реализовывать разнообразные по геометрии временные сооружения). Она является сборно-разборной и многоразовой (мобильной) конструкцией и в том числе основным несущим элементом, к которому крепятся:

- блок камер захвата движений 202;

- блок сенсорных систем 203;

- блок проекционных систем 204;

- акустическая система 205;

- проекционные панели 206.

В настоящем решении может реализовываться два основных варианта проекционных поверхностей.

1. Проекционное полотно, которое крепится на полую или твердую раму.

2. Проекционная краска. Наносится на листы твердого материала, который крепится к мобильной конструкции.

Типичная схема организации процессов описана на Фиг. 3.

Один или более пользователей могут одновременно взаимодействовать с интерактивным пространством с помощью блока сенсорных систем 301 и блока камер захвата движения 311.

Блок сенсорных систем отправляет данные в систему управления 302, которые обрабатываются системой управления, и которая определяет точки взаимодействия в системе координат сенсорной поверхности и синхронизирует их в системе координат виртуального пространства 303.

Блок камер захвата движения отправляет видеоданные в систему управления 312, в которых система управления распознает пользователей, детектирует их скелет и положение элементов в системе координат 313.

На основании полученных и обработанных данных система управления вносит изменения в генерируемые аудио и видео потоки согласно заданному ранее сценарию 304 и отправляет эти потоки в блок проекционных систем и/или акустическую систему 305.

Процесс калибровки системы для создания виртуального пространства.

Изображения, транслируемые с проекторов, калибруются в 2 этапа.

1. Осуществляется настройка изображения с каждого проектора и выравнивание относительно поверхности с учетом наклона и изгибов поверхности, а также расстояния между проекторами и поверхностью.

2. Осуществляется сведение общего пространства. Сведение позволяет синхронизировать общий участок изображения так, чтобы убрать разрывы между изображениями и при этом наложить края изображения друг на друга таким образом, чтобы этого не было видно пользователям.

Камеры с разных ракурсов фиксируют пользователя и передают видеопоток на систему управления. Система управления выделяет узловые скелетные точки и записывает их в системе координат. Калибровка позволяет создать единую систему координат для всех камер, чтобы положение условной опорной точки «правый локоть» было одинаковым для всех.

Сенсорная система. Каждый набор планок сенсорной системы выдает точки касания в системе координат со своей точкой отсчета. Калибровка объединяет несколько двухосевых систем координат в одну и позволяет передавать единые данные на систему управления.

На Фиг. 4 далее будет представлена общая схема вычислительного устройства (медиасервера) (400), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (400) содержит такие компоненты, как: один или более процессоров (401), по меньшей мере один модуль памяти (402), средство хранения данных (403), интерфейсы ввода/вывода (404), средство В/В (405), средства сетевого взаимодействия (406).

Медиасервер дополнительно содержит видеоускоритель или их комплект, достаточной мощности для создания (в том числе рендера в реальном времени) и передачи видеопотока.

Процессор (401) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (400) или функциональности одного или более его компонентов. Процессор (401) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (402).

Память (402), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (403) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (403) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы (404) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (404) зависит от конкретного исполнения устройства (400), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (405) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (406) выбираются из устройства, обеспечивающего сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (405) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (400) сопряжены посредством общей шины передачи данных (410).

Таким образом, при реализации настоящего технического решения дополнительно можно выделить следующие положительные эффекты:

- Система для создания виртуального пространства является полностью мобильной и может быть использована внутри и вне помещений;

- Система для создания виртуального пространства предполагает использование различных способов взаимодействия с пространством (сенсоры, камеры, кнопки и т.д.), как по-отдельности, так и вместе, тем самым обеспечивая многофункциональность системы;

- Система для создания виртуального пространства позволяет групповое использование мобильного пространства с возможностью одновременного взаимодействия пользователей с пространством;

- Система для создания виртуального пространства предполагает отсутствие необходимости использования пользователями носимых устройств (например, VR шлемы, перчатки, датчики положения и т.д.), что облегчает использование, упрощает конструкцию всей системы и улучшает пользовательский опыт.

Отдельно необходимо отметить необходимые функциональные характеристики ПО, устанавливаемого и используемого в системе управления:

- Обеспечение взаимодействия устанавливаемого ПО с существующими системами и протоколами (операционная система);

- Настройка и калибровка систем, в том числе, но не ограничиваясь: сведение проекторов, калибровка камер захвата, калибровка сенсорной системы, настройка аудиосистемы;

- Обработка и сведение поступающих видеоданных (например, определение положения тела в пространстве и создание скелетной анимации/облака точек);

- Обработка и сведение поступающих сенсорных данных, и построение точек взаимодействия (создание карты касаний в 2х мерной системе координат и перенос в 3х мерную);

- Генерация виртуального пространства в реальном времени;

- Воспроизведение заранее записанных визуальных программ (например, видео 360);

- Генерация в реальном времени и/или передача готовых аудиодорожек для воспроизведения;

- Прием и обработка сигналов от внешних элементов (мышь/клавиатура, планшет, пульт).

Список реализуемого программного обеспечения.

1. Плеер 360, который передает видеофайлы в 360 на проекторы и акустическую систему.

2. Программа, в которой происходит генерация виртуального пространства и объектов, обработка поступающих сенсорных сигналов и срабатывание сценариев и триггеров (Unity, Unreal, Resolume и т.д.)

3. Программа для трекинга людей, которая на основе поступающего видеопотока в реальном времени создает скелетную анимацию пользователей, выделяет узловые точки скелета и передает в основную программу записанные траектории точек с положением в 3х осевой системе координат и отметками времени (https://www1.fips.ru/fips_servl/fips_servlet?DB=EVM&DocNumber=2021660804).

4. Программа для агрегирования устройств и программ ввода/вывода, а также их интеграции в другие системы, которая позволяет удаленно управлять звуковым и проекционным оборудованием, а также использовать планшеты в качестве контроллеров (№ ЕА-53537).

5. Программа для сведения (калибровки) проекторов (например, Immersive Display PRO), которая позволяет настроить проекторы и сохранить характеристики настройки в конфигурацию.

Пример реализации настоящего изобретения.

1. После сбора мобильной сборно-разборной конструкции и установки всех элементов осуществляется их запуск и калибровка.

2. Осуществляется запуск ПО на системе управления. Возможные варианты:

2.1 Плеер 360. Видеоконтент с плеера 360 поступает на проекционную систему, при этом одновременно, аудиопоток из видеоконтента выводится в аудиосистему. Камеры захвата движения и сенсорные системы не активны.

2.2 Виртуальный мир. Осуществляется запуск игровой образовательной программы (ИОБ).

2.2.1 Инициализация.

ИОБ на сервере создает виртуальный мир. При инициализации в виртуальном мире происходят следующие процессы:

- Появляется мир с окружением, пассивными и интерактивными объектами;

- Появляются виртуальные камеры, которые не видны пользователям, но изображение с которых в дальнейшем передаются на проекторы;

- Появляется виртуальный микрофон, который передает звук внутри виртуального мира в аудиосистему;

- Инициализируется система координат для интерактивных систем (блок камер захвата движения 101, блок сенсорных систем 102), для переноса действий пользователя в виртуальное пространство.

2.2.2 Работа.

ИОБ выводит на проекторы окружение и аудио из виртуального мира. Пользователь или группа пользователей передвигаются в комплексе, и данные об их перемещении и положении в пространстве считываются блоком камер захвата движения 101, обрабатываются и передаются в систему координат выбранного мира. При взаимодействии пользователей с сенсорной системой, точки касания также передаются в виртуальный мир согласно ранее инициализированной системы координат. В ИОБ может быть заранее задана система триггеров, приводящая к изменениям в виртуальном мире.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к области вычислительной техники. Мобильная система для создания виртуального пространства содержит: блок камер захвата движений, состоящий по меньшей мере из одной камеры захвата движений, причем блок камер захвата движений выполнен с возможностью приема видеоданных; блок сенсорных систем, состоящий по меньшей мере из одной сенсорной системы, принимающий сенсорные данные для создания сенсорного пространства; блок проекционных систем, состоящий по меньшей мере из двух проекторов, проецирующих виртуальное пространство на поверхности; акустическую систему, состоящую по меньшей мере из четырех колонок, генерирующих объемный звук; систему управления, являющуюся ядром системы и осуществляющую взаимосвязь всех компонентов системы для создания виртуального пространства; мобильную сборно-разборную конструкцию, являющуюся несущим элементом для крепления элементов системы для создания виртуального пространства, причем мобильная сборно-разборная конструкция выполнена с возможностью крепления поверхностей для проецирования виртуального пространства. Технический результат заключается в повышении мобильности системы для создания виртуального пространства. 2 з.п. ф-лы, 4 ил.

1. Мобильная система для создания виртуального пространства, содержащая:

блок камер захвата движений (101), состоящий по меньшей мере из одной камеры захвата движений, причем блок камер захвата движений выполнен с возможностью приема видеоданных (111), причем блок камер захвата движения отправляет видеоданные в систему управления (312), в которых система управления распознает пользователей, детектирует их скелет и положение элементов в системе координат (313);

блок сенсорных систем (102), состоящий по меньшей мере из одной сенсорной системы, принимающий сенсорные данные (112) для создания сенсорного пространства, причем блок сенсорных систем отправляет данные в систему управления (302), которые обрабатываются системой управления, которая определяет точки взаимодействия в системе координат сенсорной поверхности и синхронизирует их в системе координат виртуального пространства (303);

блок проекционных систем (103), состоящий по меньшей мере из двух проекторов, проецирующих виртуальное пространство на поверхности (121);

акустическую систему (104), состоящую по меньшей мере из четырех колонок, генерирующих объемный звук (122);

систему управления (105), являющуюся ядром системы и осуществляющую взаимосвязь всех компонентов системы для создания виртуального пространства, причем, на основании полученных и обработанных данных от блока камер захвата движений (101) и блока сенсорных систем (102), система управления вносит изменения в генерируемые аудио- и видеопотоки согласно заданному ранее сценарию (304) и отправляет эти потоки в блок проекционных систем и/или акустическую систему;

мобильную сборно-разборную конструкцию (140), являющуюся несущим элементом для крепления элементов системы для создания виртуального пространства, причем мобильная сборно-разборная конструкция выполнена с возможностью крепления поверхностей для проецирования виртуального пространства.

2. Система по п.1, в которой мобильная сборно-разборная конструкция реализована в виде фермовой конструкции.

3. Система по п.1, в которой поверхность для проецирования виртуального пространства - это проекционное полотно.