Интерактивный световой пол Российский патент 2025 года по МПК A63F13/214 A63F13/218 G06F3/44 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области компьютерных технологий, в частности к интерактивному световому полу.

УРОВЕНЬ ТЕХНИКИ

Интерактивный пол - это система воспроизведения графического изображения на любой поверхности, которая реагирует на движения человека. Используется в учебном процессе, при создании эффектных презентаций, размещении рекламы нового поколения, для украшения танцевальных залов, выставочных павильонов, коммерческих объектов и торговых комплексов.

Из уровня техники известен патент RU 93428 U1, Щербаков Александр Иванович (RU), опубл. 27.04.2010. Данное решение описывает танцевальный пол, содержащий верхний настил и нижний настил, который закреплен на основании пола, отличающийся тем, что введены слой зеркального пластика, установленный на нижнем настиле отражающей поверхностью вверх, и в котором закреплена группа светодиодов с блоком питания и контроллером, решетка из оргстекла, установленная на слое зеркального пластика, слой прозрачного оргстекла, установленный на решетке из оргстекла, и слой зеркальной пленки, закрепленной отражающей поверхностью вниз между слоем прозрачного оргстекла и верхним настилом, выполненным из закаленного стекла.

Кроме того, из уровня техники известен патент RU 2669534 C2, ЮНИВЕРСАЛ СИТИ СТЬЮДИОС ЭлЭлСи (US), опубл. 11.10.2018, в котором описана система, включающая в себя поверхность, которая отображает множество изображений, относящихся к игре, причем транспортное средство содержит схему интерфейса, сконфигурированную для приема ввода от седока, относящегося к пути транспортного средства по поверхности, причем транспортное средство функционирует в соответствии с вводом для перемещения по поверхности на пути транспортного средства, и контроллер, который определяет, что транспортное средство переместилось поверх первого изображения из множества изображений на пути транспортного средства на основании сигнала от транспортного средства, поверхности, внешнего датчика или их комбинации; выдает команды на схему отображения, ассоциированную с поверхностью для изменения первого изображения, когда транспортное средство переместилось поверх первого изображения на пути транспортного средства; и обновляет очки счета, ассоциированные с транспортным средством, когда транспортное средство переместилось поверх первого изображения на пути транспортного средства.

Общим недостатком существующих решений в данной области является их ограниченная функциональность, поскольку отсутствует возможность использования одновременно емкостных и тензометрических датчиков веса, что обеспечивает более надежную работу устройства за счет резервирования в случае выхода из строя одного из датчиков, а также расширяет область применения за счет наличия информации о силе нажатия с датчиков веса. Кроме того, в указанных выше решениях не используются нейронные сети.

Предлагаемое техническое решение направлено на устранение недостатков современного уровня техники и отличается от известных решений тем, что предложенное решение обеспечивает более надежную работу интерактивного светового пола за счет резервирования в случае выхода из строя одного из датчиков. Кроме того, емкостной датчик позволяет регистрировать нажатие на небольшом удалении от поверхности стекла без фактического касания, в то время как тензометрический датчик веса требует усилия и дает информацию о силе нажатия.

Кроме того, заявленное решение фокусируется на захватывающем аттракционе, использующем новую интерактивную среду пола и связанные с ней игровые методики с использованием по меньшей мере одной нейронной сети.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является разработка нового интерактивного светового пола. В данном решении используются алгоритмы машинного обучения, которые позволяют усовершенствовать процесс отслеживания перемещений конкретного участника по игровому полю и определять ложные нажатия на панели.

Техническим результатом является расширение арсенала технических средств.

Предлагаемое решение является игровой комнатой или платформой произвольной площади, покрытой чувствительными светодиодными панелями, и содержит игровой микрокопьютер, управляющий различными игровыми сценариями, требующими от участников перемещаться по комнате/платформе, нажимать на панели ногами или, наоборот, уклоняться от набегающей «лавы».

Указанный технический результат достигается благодаря интерактивному световому полу, выполненному из массива панелей, выложенных по меньшей мере в одну сетку, причем панели каждой сетки лежат на общей равной высоте в общей компланарной связи друг с другом, чтобы совместно определять соответствующие области интерактивной поверхности пола и содержащему:

- печатные платы с матрицами светодиодов, выполненные с возможностью освещать независимо каждую панель массива;

- емкостные и тензометрические датчики веса, выполненные с возможностью обнаруживать присутствие участника на любой панели массива;

- игровой микрокомпьютер, подключенный к массиву панелей и их датчикам и выполненный с возможностью отправки сигналов управления освещением в матрицы светодиодов для изменения состояний освещения панелей массива и получения сигналов обнаружения от системы датчиков, указывающих на обнаруженное присутствие участников на панелях массива,

при этом игровой микрокомпьютер перед началом игрового процесса регистрирует вес каждого участника через информацию, поступающую с датчиков, и во время игрового процесса отслеживает время нажатия панели, вес нажатия и координаты нажатия пикселя, а при помощи первой обученной нейронной сети (НС) отслеживает перемещения конкретного участника по игровому полю и успешного выполнения заданной последовательности игрового процесса, при помощи второй обученной НС определяет ложные нажатия на панели.

В частном варианте реализации описываемого решения емкостные датчики обнаруживают присутствие участника на любой панели массива путем регистрации нажатия на удалении от поверхности панели массива без фактического касания.

В другом частном варианте реализации описываемого решения тензометрические датчики веса обнаруживают присутствие участника на любой панели массива путем регистрации силы нажатия или веса на поверхность панели.

В другом частном варианте реализации описываемого решения игровой микрокомпьютер выполнен с возможностью при помощи второй НС без прерывания игрового процесса выключать нерабочие пиксели.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей.

Фиг. 1 иллюстрирует схему интерактивной светодиодной ячейки.

Фиг. 2 иллюстрирует схему интерактивной светодиодной ячейки с тензометрическими датчиками, выполненными в виде рамки по контуру стекла.

Фиг. 3 иллюстрирует схему перемещения участников по игровой комнате и анализ этой информации с помощью игрового микрокомпьютера.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Заявленный интерактивный световой пол выполнен из массива панелей, выложенных по меньшей мере в одну сетку, причем панели каждой сетки лежат на общей равной высоте в общей компланарной связи друг с другом, чтобы совместно определять соответствующие области интерактивной поверхности пола. Интерактивная светодиодная платформа (пиксели ~30×30 см с датчиками нажатия), которая целиком покрывает пол игровой комнаты размером от 1 до 100 м², а также кнопки, расположенные по стенам.

Например, иммерсивная развлекательная среда может быть представлена в виде закрытой игровой комнаты, имеющей вертикальную конструкцию стены периметра, состоящую из передней стены, противоположной задней стены, первой боковой стены и противоположной второй боковой стены. Передняя стена имеет как вход в комнату, так и отдельный выход из нее, например, около соответствующих концов передней стены, хотя игровая комната может альтернативно иметь общий вход/выход, через который внутреннее пространство игровой комнаты как входит, так и выходит. В вариантах с отдельным входом и выходом они не обязательно должны быть расположены у одной и той же стены.

Конструкция стены периметра ограничивает пространство пола комнаты, существенная часть которого занята интерактивной системой пола, определяющей массив прямоугольных ячеек, которые в совокупности охватывают существенно полное измерение внутреннего пространства комнаты в каждом из двух ее горизонтальных направлений измерения. Таким образом, ячеечный массив в значительной степени охватывает как ширину комнаты, измеренную перпендикулярно между двумя противоположными боковыми стенами, так и глубину комнаты, измеренную перпендикулярно между противоположными передней и задней стенами. Соответственно, при входе в комнату участник игрового процесса по сути будет вынужден стоять на интерактивном полу, тем самым обеспечивая его обязательное взаимодействие с ним во время выполнения игрового сеанса внутри комнаты, такого как, например: «Пол - это лава!», «Классики», «Море волнуется», «Танцы», «Защита базы» и т. д.

В дополнение к интерактивному полу, комната также имеет одно или несколько интерактивных целевых устройств, установленных в возвышенном положении над интерактивным полом, в результате чего игровой процесс внутри комнаты может включать как физическое взаимодействие ног с ячейками интерактивного пола (шаги, прыжки, постукивание ногой и т.д.), так и физическое взаимодействие рук или другой верхней части тела с отдельными целевыми устройствами. Предпочтительно, чтобы по комнате было распределено несколько целевых устройств. Целевые устройства могут быть представлены в виде настенных целевых устройств, из которых каждая периметральная стена комнаты имеет по крайней мере одно. Каждое целевое устройство может представлять собой кнопочное устройство, сенсорную панель или любое другое электронное устройство, способное получать физический ввод, обозначающий приведение в действие указанного устройства, предпочтительно посредством нажатия руки или другого взаимодействия верхней части тела участника, хотя участники могут факультативно использовать контакт с поднятой ногой, коленом, бедром или другой частью тела.

В дополнение к целевым устройствам внутреннее пространство игровой также включает в себя по меньшей мере один дисплей, работающий для отображения обратной связи для участника(ов) во время игрового сеанса. Дисплей(и) может, например, показывать по меньшей мере одно из: счет очков увеличивающихся/уменьшающихся значений очков при успешном завершении или невыполнении назначенных задач во время игрового процесса; работающий таймер; и/или счетчик статуса, уровень которого увеличивается или уменьшается в ответ на обнаруженные неудачи, аналогично шкале жизни или счетчику здоровья в видеоигре.

При этом интерактивный световой пол содержит печатные платы с матрицами светодиодов, выполненных с возможностью освещать независимо каждую панель массива;

- емкостные и тензометрические датчики веса, выполненные с возможностью обнаруживать присутствие участника на любой панели массива. Использование и емкостных, и тензометрических датчиков веса позволяет обеспечивать более надежную работу интерактивного светового пола за счет резервирования в случае выхода из строя одного из датчиков. Кроме того, новый опыт для пользователя, поскольку емкостной датчик слишком чувствительный и регистрирует нажатие на удалении от поверхности стекла без фактического касания, а тензодатчик требует усилия, которое подстраивается под возраст участников. Путем комбинации двух типов датчиков, можно добиваться надежности работы и лучшего опыта пользователя при взаимодействии с полом.

Обеспечивается возможность установки разной силы касания на отдельные пиксели: на один до 50 кг, на другой даже без касания, что открывает новые возможности для игрового процесса, а также возможность запускать новые игровые механики для спортсменов, где требуется разное взаимодействие с пикселями.

Технология одновременного и независимого опроса датчиков обеспечивается с помощью встроенного в каждую панель микроконтроллера (см. фиг. 1-2). Каждый микроконтроллер опрашивает датчики своей панели до 80 раз в секунду и отправляет информацию о нажатиях и их силе игровому микрокомьютеру.

Игровой микрокомпьютер, подключенный к массиву панелей и их датчикам и выполненный с возможностью отправки сигналов управления освещением в матрицы светодиодов для изменения состояний освещения панелей массива и получения сигналов обнаружения от системы датчиков, указывающих на обнаруженное присутствие участников на панелях массива.

При этом микрокомпьютер перед началом игрового процесса регистрирует вес каждого участника через информацию, поступающую с датчиков и во время игрового процесса отслеживает время нажатия панели, вес нажатия и координаты нажатия пикселя, а при помощи первой обученной нейронной сети (НС) отслеживает перемещения конкретного участника по игровому полю и успешного выполнения заданной последовательности игрового процесса, при помощи второй обученной НС определяет ложные нажатия на панели.

Перед началом каждого игрового процесса, есть информация о весе каждого участника. Во время прохождения игрового процесса имеются данные о нажатии каждым участником, это его вес, то есть после каждого нажатия через датчики поступает информация и необходимо определить какой конкретно участник произвел нажатия. Это задача сводится к классической задаче классификации с помощью KNN (алгоритма k ближайших соседей). Основная сложность - это создать метрику схожести между всеми участниками. Каждый участник будет представлять собой вектор значений (время нажатия, вес нажатия, пиксель нажатия) - (t_n, w_n, x_n, y_n), где n номер нажатия.

Также будем учитывать в метрике значения за последние 3 нажатия. Вес каждого нажатия для конкретного участника будет отличаться и необходимо учитывать расстояние (пиксели) и время.

После того, как определен вектор значений для каждого участника, необходимо сделать классификацию вектора. Имеется первоначальные значения класса (номер участника) на старте. Далее для каждого вектора нажатия через алгоритм KNN смотрятся ближайшие из истории классы (номера участников) и определяют текущее нажатие. После текущего нажатия вносятся в базу для последующей классификации.

Такой алгоритм работает в реальном времени на Raspberry Pi 4, 21 и готов обрабатывать нажатие в секунду. Технологии для проекта Python, NumPy, sklearn (KNN).

Кроме того, микрокомпьютер выполнен с возможностью при помощи второй НС без прерывания игрового процесса выключать нерабочие пиксели.

Часто происходит ситуация, что после нажатия на пиксель, он начинает каждую секунду подавать сигнал что есть нажатие, хотя в реальности уже нет нажатий. Также бывают ситуации, что соседние пиксели тоже начинают моргать. И соответственно задача состоит в том, что понять это был человек или сбой в системе. Для ее решения предлагается метод Outlier detection (детекция выбросов). Для этой задачи необходимо собрать датасет нажатий, разметить на два класса человек/ложное. Признаки, которые будут участвовать в обучении модели, это: длительность нажатия, вес нажатия, координаты пикселя.

Количество примеров для обучения 3000-5000. Такое количество нажатий, причем с разнообразным весом, длительностью, займет 3-6 месяца. Поэтому будем использовать методы аугментации данных.

Сбор датасета выглядит следующим образом. Необходимо провести с разными весами (10-20 человек) сбор данных. После этого на основе линейной и полиномиальной интерполяции генерируются примеры еще для 200 людей.

После этого на обучение подаются положительные примеры (там, где человек).

Модель на основе положительных примеров, запоминает закономерности, зависимости в данных. Когда на входе пример которые отличается от «стандарта» долгое нажатие, большой/маленький вес она пометит как выброс.

Производительность модели 25 нажатий в секунду, что позволяет запустить в реальном времени на микрокомпьютере Raspberry Pi 4 и подобных. Технологии для проекта Python, NumPy, scikit-learn (KNN).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Настоящее техническое решение относится к области компьютерных технологий, в частности к интерактивному световому полу. Техническим результатом является расширение арсенала технических средств. Интерактивный световой пол, выполненный из массива панелей, выложенных по меньшей мере в одну сетку, причем панели каждой сетки лежат на общей равной высоте в общей компланарной связи друг с другом, чтобы совместно определять соответствующие области интерактивной поверхности пола, и содержащий: печатные платы с матрицами светодиодов, выполненные с возможностью освещать независимо каждую панель массива; емкостные и тензометрические датчики веса, выполненные с возможностью обнаруживать присутствие участника на любой панели массива; игровой микрокомпьютер, подключенный к массиву панелей и их датчикам и выполненный с возможностью отправки сигналов управления освещением в матрицы светодиодов для изменения состояний освещения панелей массива и получения сигналов обнаружения от системы датчиков, указывающих на обнаруженное присутствие участников на панелях массива, при этом игровой микрокомпьютер перед началом игрового процесса регистрирует вес каждого участника через информацию, поступающую с датчиков, и во время игрового процесса отслеживает время нажатия панели, вес нажатия и координаты нажатия пикселя, а при помощи первой обученной нейронной сети (НС) отслеживает перемещения конкретного участника по игровому полю и успешного выполнения заданной последовательности игрового процесса, при помощи второй обученной НС определяет ложные нажатия на панели. 3 з.п. ф-лы, 3 ил.

1. Интерактивный световой пол, выполненный из массива панелей, выложенных по меньшей мере в одну сетку, причем панели каждой сетки лежат на общей равной высоте в общей компланарной связи друг с другом, чтобы совместно определять соответствующие области интерактивной поверхности пола и

содержащий:

- печатные платы с матрицами светодиодов, выполненные с возможностью освещать независимо каждую панель массива;

- емкостные и тензометрические датчики веса, выполненные с возможностью обнаруживать присутствие участника на любой панели массива;

- игровой микрокомпьютер, подключенный к массиву панелей и их датчикам и выполненный с возможностью отправки сигналов управления освещением в матрицы светодиодов для изменения состояний освещения панелей массива и получения сигналов обнаружения от системы датчиков, указывающих на обнаруженное присутствие участников на панелях массива,

при этом игровой микрокомпьютер перед началом игрового процесса регистрирует вес каждого участника через информацию, поступающую с датчиков, и во время игрового процесса отслеживает время нажатия панели, вес нажатия и координаты нажатия пикселя, а при помощи первой обученной нейронной сети (НС) отслеживает перемещения конкретного участника по игровому полю и успешного выполнения заданной последовательности игрового процесса, при помощи второй обученной НС определяет ложные нажатия на панели.

2. Интерактивный световой пол по п. 1, характеризующийся тем, что емкостные датчики обнаруживают присутствие участника на любой панели массива путем регистрации нажатия на удалении от поверхности панели массива без фактического касания.

3. Интерактивный световой пол по п. 1, характеризующийся тем, что тензометрические датчики веса обнаруживают присутствие участника на любой панели массива путем регистрации силы нажатия или веса на поверхность панели.

4. Интерактивный световой пол по п. 1, характеризующийся тем, что игровой микрокомпьютер выполнен с возможностью при помощи второй НС без прерывания игрового процесса выключать нерабочие пиксели.