Способ удаленного присутствия в офлайн-пространстве Российский патент 2021 года по МПК G06F3/01 G06T15/50 G06T19/20 

Изобретение относится к средствам, связанным с демонстрацией и восприятием человеком в режиме реального времени мероприятия без непосредственного нахождения его в этом месте.

Из уровня техники известен способ

управления виртуальной реальностью (VR) [RU 2677566, C1, G06F 1/16, 17.01.2019], основанный на получении данных датчика, указывающих на передвижение носимого VR-устройства в трехмерном пространстве в течение заданного периода времени, определяемого первым моментом времени, в который принимается первая инструкция управления, и вторым моментом времени, в который принимается вторая инструкция управления, определение траектории передвижения носимого VR-устройства в течение заданного периода времени на основе данных датчика, полученных в течение заданного периода времени, управление устройством выполнения функций VR для выполнения операций, соответствующих траектории передвижения, и отображения на дисплее VR-устройства результатов операций, соответствующих траектории передвижения, получение данных датчика, указывающих на передвижение носимого VR-устройства в трехмерном пространстве, от первого гироскопического датчика электронного устройства после приема первой инструкции управления от манипулятора, завершение получения данных от первого гироскопического датчика и завершение получения данных датчика в течение заранее заданного периода времени после приема второй инструкции управления манипулятора.

Недостатком способа является относительно узкая область применения.

Известно также техническое решение для взаимодействия пользователя с виртуальной реальностью [RU 2632758, C1, А63В 23/00, 09.01.2017], характеризующееся тем, что пользователь размещается на плоской круглую платформе с вогнутой поверхностью, в середине которой находится круглая ровная небольшого диаметра площадка, покрытая роликами, направленными и вращающимися только по направлению к центру, а на наклонной плоскости размещены узкие беговые дорожки, также вращающиеся по направлению к центру, а также одну телескопическую штангу, нижний конец которой прикреплен к обручу, вращающемуся вокруг платформы, а к верхнему концу прикреплен страховочный ремень, помогающий пользователю сохранять равновесие, при этом, внутри платформы под каждой узкой беговой дорожкой, внутри обруча, вращающегося вокруг платформы, и на верхнем конце телескопической штанги размещены датчики, подающие сигнал на принимающее устройство (например, ПК), которое с помощью них определяет направление и скорость перемещений пользователя, направление вращательных движений его тела и положение его тела по вертикали, по направлениям вверх и вниз.

Недостатком этого технического решения также является относительно узкая область применения.

Близким к предложенному является способ трансляции спектакля в режиме реального времени, заключающийся в том, что с помощью видеокамер осуществляют съемку в зале театра, в режиме реального времени монтируют видеоряд, который по высокоскоростному Интернет или спутниковому каналу связи передается на большой экран кинотеатра (http://teatr-pro.ru).

Недостатком указанного способа является относительно узкая область применения, обусловленная отсутствием возможности просмотра спектакля вне кинотеатра и отсутствием эффекта полного присутствия на мероприятии.

Технической проблемой изобретения является устранение препятствий к возможности виртуального посещения (присутствия)

Наиболее близким по технической сущности к предложенному является способ виртуального посещения мероприятия [RU 2658893, С1, G06Q 50/10, 25.06.2018], содержащий этапы, на которых в месте реализации билетов приобретают билет с идентификационной информацией на мероприятие, при этом указанную информацию о приобретенном билете передают с места реализации билетов в систему контроля и управления доступом (СКУД), с помощью системы формирования и передачи аудио-видео сигнала, установленной в месте проведения мероприятия и вне места восприятия пользователем мероприятия, передают аудио-видео сигнал с места проведения мероприятия на программно-аппаратный комплекс первичной обработки (ПАКПО), на котором обрабатывают полученный аудио-видео сигнал и формируют единый аудиовизуальный поток, который передают на вещательный сервер, с помощью вещательного сервера обрабатывают принятый единый аудиовизуальный поток и передают его в режиме реального времени на очки или шлем виртуальной реальности, с помощью устройства, имеющего доступ в Интернет, пользователь передает идентификационную информацию о приобретенном билете в СКУД, посредством СКУД идентифицируют переданную в нее пользователем указанную информацию о приобретенном билете, при этом, при положительной идентификации посредством СКУД предоставляют доступ через вещательный сервер к виртуальному посещению мероприятия пользователем с помощью очков или шлема виртуальной реальности, расположенных вне места проведения мероприятия.

Особенностью известного способа является то, что, приобретение билета в месте реализации билетов осуществляют посредством устройства, имеющего доступ в Интернет, передачу идентификационной информации о приобретенном билете с места реализации билетов в СКУД осуществляют с помощью устройства, имеющего доступ в Интернет, предоставление доступа к виртуальному посещению мероприятия с помощью очков или шлема виртуальной реальности осуществляют через канал получения сигнала смартфона или мобильного телефона, передачу идентификационной информации о приобретенном билете в СКУД пользователь осуществляет с помощью устройства, имеющего доступ в Интернет, посредством по меньшей мере одного канала связи, система передачи аудио-видео сигнала включает, по меньшей мере, одну видеокамеру и, по меньшей мере, один микрофон, при приобретении билета на мероприятие выбирают место, с которого пользователь хотел бы воспринимать мероприятие и совпадающее с местом установки одной из видеокамер.

Недостатком этого технического решения является относительно узкая область применения, что не позволяет, в частности, использовать интерактивное посещение самого мероприятия и использовать более точную модель помещения, где проходит мероприятие.

Задача, которая решается в изобретении, направлена на создание способа, обладающего более широкой областью применения и повышение достоверности ощущений пользователя при интерактивном посещении мероприятия на основе использования более точной модель помещения, где проходит мероприятие.

Требуемый технический результат заключается в расширении области применения способа путем обеспечения интерактивного посещения мероприятия и повышение достоверности ощущений пользователя при интерактивном посещении мероприятия на основе использования более точной модели помещения, где проходит мероприятие.

Поставленная задача решается, а требуемый технический результат достигается тем, что, передают аудио-видео сигнал с места проведения мероприятия на вещательный сервер, с помощью вещательного сервера обрабатывают принятый единый аудиовизуальный поток и передают его в режиме реального времени на устройства вывода информации (мониторы, очки или шлем виртуальной реальности, экран портативного устройства и др.) пользователя, имеющих доступ в Интернет, и предоставляют доступ через вещательный сервер к виртуальному посещению мероприятия пользователем с помощью очков или шлема виртуальной реальности, расположенных вне места проведения мероприятия, согласно изобретению, предварительно осуществляют подготовку помещения для трансляции, для чего производят обмер стационарных объектов для интерактивной 3D модели, размещают видеокамеры с учетом исключения «слепых» зон, микрофоны с шумоподавлением и средства для передачи запроса пользователя в помещение для трансляции, а также формируют в вещательном сервере 3D модель помещения, которая включает алгоритм парсинга потокового видео в обновляемые текстуры для 3D модели, интерфейс с алгоритмами взаимодействия пользователя и базу эталонных данных, необходимых для коммуникации пользователя в процессе посещения мероприятия.

На чертеже представлена блок схема взаимодействия операций способа.

Способ удаленного присутствия в офлайн-пространстве реализуется следующим образом.

Предварительно осуществляют подготовку помещения для трансляции, для чего производят обмер стационарных объектов для интерактивной 3D модели, размещают видеокамеры с учетом исключения «слепых» зон, микрофоны с шумоподавлением и средства для передачи запроса пользователя в помещение для трансляции, включающие электронные табло, роботизированные устройства и т.п.

На основе этого формируют в вещательном сервере 3D движок, содержащий 3D модель помещения, которая включает алгоритм парсинга потокового видео в обновляемые текстуры для 3D модели, интерфейс с алгоритмами взаимодействия пользователя и базу эталонных данных, необходимых для коммуникации пользователя в процессе посещения мероприятия и включающих необходимые для коммуникации пользователя с пространством знаки (цифры, карты, жесты и прочее), а также средства машинного обучения при распознавании вышеупомянутой информации.

Запросы, исходящие от пользователя в виртуальном пространстве, передаются на устройства вывода информации (мониторы, табло, датчики, экраны портативных устройства и др.), размещенные в офлайн-пространстве. В свою очередь, события, происходящие в офлайн-пространстве, транслируются пользователю в режиме реального времени с помощью видеокамер и микрофонов, а также имеют трехмерный обзор и возможность удаленного взаимодействия.

Пользователь сможет использовать технологию с помощью персонального компьютера, оборудованного устройством вывода информации (мониторы, очки или шлем виртуальной реальности, экран портативного устройства и др.), и устройствами ввода информации (клавиатурой, мышью, джойстиком, игровым контроллером для рук/ног и др.).

Примером практического использования предложенного способа является посещение казино.

В этом случае способ реализуется следующим образом.

Производят подготовку помещения казино для трансляции, включающую обмер твердых объектов для интерактивной 3D модели и размещение видеокамер и микрофонов, а также размещение оборудования для передачи запроса пользователя, например, устройства вывода информации, отображающие ставки и иные действия (электронные табло и др.), роботизированные устройства броска игральных костей, закрытые боксы для хранения карт "на руке", оборудованные видеокамерой, доработанное под задачи и обновленное программное обеспечение (ПО) игровых автоматов, включая оснащение устройством передачи данных в реальном времени и возможностью выполнения дистанционных команд.

Активизируют работу вещательного сервера, содержащего 3D движок с моделью казино, алгоритмом парсинга потокового видео в обновляемые текстуры для модели и интерфейсом с алгоритмами взаимодействия пользователя, также содержит базу эталонных данных, например:

- карточные масти и номиналы;

- номера и цвета ячеек;

- значения граней игральной кости и их комбинации;

- выигрышные комбинации карт,

а также элемент машинного обучения при распознавании вышеупомянутой информации.

Пользователь может использовать технологию с помощью персонального компьютера, оборудованного устройством вывода информации (монитор, очки/шлем виртуальной реальности и др.) и устройствами ввода информации (клавиатурой и мышью/тачпадом или игровыми контроллерами на/в руках и др.).

Запросы, исходящие от пользователя в виртуальном пространстве, передаются напрямую в игровые автоматы или на устройства вывода, размещенные в офлайн-казино, и работники (крупье) оперируют этой информацией.

К примеру, на месте каждого игрока за покерным столом или столом для игры в рулетку размещено табло, отображающее его текущую ставку, готовность принять повышение ставки, желание пропустить ход и др.

В свою очередь, события, происходящие в офлайн-казино, обрабатываются и транслируются пользователю в режиме реального времени, считывая элементом машинного обучения необходимую информацию и включая ее в интерфейс (подсчет ставок, виртуальный, кошелек пользователя и др.). Также в интерфейсе есть все необходимые команды, соответствующие конкретному игровому столу или автомату, изображенные в виде кнопок, например:

- сделать/принять/повысить ставку

- выбрать номер ячейки

- бросить кубик

- пропустить ход

- выйти из-за стола и другие

Взаимодействие работника (крупье) и пользователя (посетителя) или пользователя (посетителя) с игровым автоматом продолжается до тех пор, пока игрок не решит покинуть стол завершить игру в рамках времени работы казино. Количество возможных подключений к одному столу или автомату соответствует количеству игроков, допустимых при очном участии.

Вероятность жульничества со стороны пользователя исключается, а ощущение присутствия пользователя в казино гораздо выше, чем в online казино, работающего по принципу вебинара.

Таким образом, в предложенном изобретении достигается требуемый технический результат, который заключается в расширении области применения способа путем обеспечения интерактивного посещения мероприятия и использования более точной модели помещения, где проходит мероприятие.

Изобретение относится к области вычислительной техники для удаленного присутствия в офлайн-пространстве. Технический результат заключается в повышении точности передачи аудиовидеосигнала с места проведения мероприятия за счет использования более точной модели помещения, где проходит мероприятие. Технический результат достигается за счет способа, в котором передают аудиовидеосигнал с места проведения мероприятия на вещательный сервер, с помощью которого обрабатывают принятый единый аудиовизуальный поток и передают его в режиме реального времени на устройства вывода информации, и предоставляют доступ через вещательный сервер к виртуальному посещению мероприятия пользователем с помощью устройства ввода информации, при этом предварительно осуществляют подготовку помещения для трансляции, для чего производят обмер стационарных объектов для интерактивной 3D-модели, размещают видеокамеры с учетом исключения «слепых» зон, микрофоны с шумоподавлением и средства для передачи запроса пользователя в помещение для трансляции, а также формируют в вещательном сервере 3D-модель помещения, которая включает алгоритм парсинга потокового видео в обновляемые текстуры для 3D-модели. 1 ил.

Способ удаленного присутствия в офлайн-пространстве, согласно которому передают аудиовидеосигнал с места проведения мероприятия на вещательный сервер, с помощью которого обрабатывают принятый единый аудиовизуальный поток и передают его в режиме реального времени на устройства вывода информации пользователя, имеющие доступ в Интернет, и предоставляют доступ через вещательный сервер к виртуальному посещению мероприятия пользователем с помощью устройств ввода и вывода информации, расположенных вне места проведения мероприятия, отличающийся тем, что предварительно осуществляют подготовку помещения для трансляции, для чего производят обмер стационарных объектов для интерактивной 3D-модели, размещают видеокамеры с учетом исключения «слепых» зон, микрофоны с шумоподавлением и средства для передачи запроса пользователя в помещение для трансляции, а также формируют в вещательном сервере 3D-модель помещения, которая включает алгоритм парсинга потокового видео в обновляемые текстуры для 3D-модели, интерфейс с алгоритмами взаимодействия пользователя и базу эталонных данных, необходимых для коммуникации пользователя в процессе посещения мероприятия.