СПОСОБ АВТОМАТИЧЕСКОГО ВОССТАНОВЛЕНИЯ 3D СЦЕНЫ ПРОИСХОДЯЩЕГО НА СПОРТИВНОМ СООРУЖЕНИИ И СИСТЕМА ДЛЯ ОСУЩЕСТВЛЕНИЯ СПОСОБА Российский патент 2021 года по МПК G06T7/20 G06K9/20 G06T17/00 

Область техники, к которой относится изобретение

Изобретение относится к способу и системе для автоматического восстановления 3D сцены происходящего на спортивном сооружении.

Уровень техники

Система зрения человека бессознательно интерпретирует отражённый от объектов свет и “понимает” что происходит на видео или на одном изображении. Как известно видеопоток, получаемый от камеры является набором 2D матриц с интенсивностями светового потока по одному (чёрно-белый поток) или 3 каналам (цветной поток). Для компьютера оцифрованный поток не несёт никакой дополнительной информации. В последние годы широкое развитие получили алгоритмы компьютерного зрения и искусственных нейронных сетей в области классификации и семантического анализа изображений и видеопотока. Алгоритмы восстановления 3D сцены происходящего до сих пор имеют ряд существенных недостатков как по времени работы, так и по точности восстановления 3D координат всех объектов на видео.

Из уровня техники известен способ регистрации и анализа соревновательных игровых действий спортсменов (RU 2599699 С1, опубл. 10.10.2016). Способ регистрации и анализа соревновательных игровых действий спортсменов, включающий применение видеокамер в реальном времени, регистрирующих объекты (игроков, мяч, шайбу), и последующий оперативный анализ полученного изображения в информационной среде в центральном модуле обработки изображения, в который входят статистический, аналитический и графический модули, данные от которых поступают на сервер оперативных приложений, при этом регистрируют и анализируют соревновательные игровые действия на основе интегрального параметра - командная площадь игры (CS), включающего обобщенные динамические характеристики: скорость изменения командной площади игры (CSv); фигура командной площади игры (CSf), и частные динамические характеристики: командная площадь игры нападения (CSi); командная площадь игры защиты (CSp); площадь перекрытия (CSip); фигура командной площади игры нападения (CSfi); фигура командной площади игры защиты (CSfp); скорость изменения командной площади игры нападения (CSvi), скорость изменения командной площади игры защиты (CSvp), динамические характеристики обрабатывают в аналитическом модуле и преобразовывают в графические игровые схемы, игровые ситуации, а также во взаимодействия и соотношения объектов (игроков, мяча, шайбы) в графическом модуле с последующей индексацией, хранением и поиском статистической, аналитической и графической информации на сервере оперативных приложений.

Недостатком такого способа является низкая точность и скорость восстановления 3D сцены действий спортсмена.

Заявленное изобретение устраняет указанные недостатки и позволяет достичь заявленный технический результат.

Раскрытие изобретения

Технической задачей, которую решает предлагаемое решение, является создание способа и системы для автоматического восстановления 3D сцены происходящего на спортивном сооружении по двум или более синхронизированным видеопотокам, с высокой точностью и малым временем восстановления 3D координат объектов.

Технический результат заключается в обеспечении автоматического восстановления 3D сцены происходящего на спортивном сооружении для последующего автоматического анализа, повышении точности и сокращении времени восстановления 3D координат объектов.

Для решения поставленной задачи с достижением заявленного технического результата способ автоматического восстановления 3D сцены происходящего на спортивном сооружении включает следующие этапы:

- снимают и записывают движения спортсмена и расположение спортивного снаряда с помощью по меньшей мере двух видеокамер, установленных на спортивной площадке;

- осуществляют синхронизацию видеопотоков, полученных с по меньшей мере двух видеокамер;

- передают полученные данные на сервер, где на каждом из этих видеопотоков проводят определение скелета спортсмена по его ключевым точкам таким как голова, плечи, позвоночник, ноги, руки и стопы;

- осуществляют восстановление скелета спортсмена и расположение снаряда в 3D пространстве в динамике.

Дополнительно осуществляют видеоанализ техники выполнения движения спортсмена, при котором в режиме реального времени обрабатывают видеопотоки с целью выявления ошибок исполнения технического действия спортсмена.

В случае выявления ошибки техники выполнения движения осуществляют генерацию голосовых подсказок спортсмену и/или вывод пояснения на экран.

Дополнительно осуществляют генерацию отчета о технических ошибках спортсмена с рекомендациями к их устранению.

В качестве видеокамер используют высокочастотные видеокамеры.

При определении расположения снаряда, определяют количество и время касаний спортсмена с ним, а также расположение частей тела спортсмена по отношению к снаряду.

Система автоматического восстановления 3D сцены происходящего на спортивном сооружении содержит взаимосвязанные между собой, по меньшей мере две видеокамеры, установленные на спортивной площадке, сервер, сетевое хранилище для отснятых видеоматериалов, облачный сервис для долгосрочного хранения отснятых материалов, программно-аппаратную платформу, установленную на сервере, причем система выполнена с возможностью определения скелета спортсмена по таким ключевым точкам как голова, плечи, позвоночник, ноги, руки и стопы.

Видеокамеры представляют собой высокочастотные видеокамеры.

Система выполнена с возможностью определения скелета спортсмена по таким ключевым точкам как голова, плечи, позвоночник, ноги, руки и стопы при помощи программно-аппаратной платформы оснащенной компьютерным зрением и нейронной сетью.

Система выполнена с дополнительной возможностью в режиме реального времени обрабатывать видеопоток с целью выявления ошибок исполнения технического действия спортсмена.

Система выполнена с дополнительной возможностью генерации голосовых подсказок спортсмену и/или вывода пояснения на экран в случае выявления ошибки техники выполнения движения.

Система выполнена с дополнительной возможностью генерации отчета о технических ошибках спортсмена с рекомендациями к их устранению.

Система выполнена с возможностью отправки видеофайлов в сетевое хранилище для последующего анализа и дообучения нейронной сети разработчиками.

Система выполнена с возможностью сохранения и выгрузки видеофайлов для постоянного хранения после окончания игрового дня.

Система выполнена с возможностью загрузки видеофайлов в облачный сервис.

Осуществление изобретения

Заявленный способ обеспечивает восстановление 3D сцены происходящего на спортивном сооружении (футбольной, хоккейной, баскетбольной или других площадках, оснащенных видеокамерами, сервером с программно-аппаратной платформой), включая все движения спортсмена, траекторию движения спортивного снаряда, целевую мишень (мишени), в которую(ые) спортсмен должен сделать передачу.

Способ автоматического восстановления 3D сцены состоит из следующих этапов:

- снимают и записывают движения спортсмена и расположение спортивного снаряда с помощью по меньшей мере двух видеокамер, установленных на спортивной площадке;

- осуществляют синхронизацию видеопотоков, полученных с по меньшей мере двух видеокамер;

- передают полученные данные на сервер, где на каждом из этих видеопотоков проводят определение скелета спортсмена по его ключевым точкам;

- осуществляют восстановление скелета спортсмена и расположение снаряда в 3D пространстве в динамике.

Кроме того, могут осуществлять видеоанализ техники выполнения движения спортсмена (прямо на сервере, на который приходит видеопоток с камер), при котором в режиме реального времени обрабатывают видеопотоки нейронной сетью с целью выявления ошибок исполнения технического действия спортсмена;

Кроме того, на том же сервере, где происходит анализ видеопотока, могут осуществлять генерацию голосовых подсказок спортсмену и/или вывод пояснения на экран в случае выявления ошибки техники выполнения движения;

Кроме того, могут осуществлять генерацию отчета о технических ошибках спортсмена с рекомендациями к их устранению.

Данные этапы могут осуществляться с помощью программно-аппаратной платформы с нейронной сетью и/или компьютерным зрением, например, оценку позы по камере и выявление неправильного положения тела в пространстве могут осуществлять с помощью нейронной сети, а этап восстановления 3D сцены (скелета спортсмена и расположение снаряда в 3D пространстве) по двум 2D проекциям с помощью компьютерного зрения. При этом нейронные сети и компьютерное зрение могут применяться и в другой вариативности (в другой последовательности, других этапах и т.д.), не ограничиваясь вышеуказанными примерами, например, этапы могут осуществлять с помощью нейронной сети одной сеткой или одним алгоритмом компьютерного зрения, либо по любому другому подходящему варианту.

Видеокамеры могут снимать спортсмена сразу синхронно, либо не синхронно, и затем отдельно осуществлять синхронизацию видеопотоков. Камеры могут быть установлены на спортивной площадке по-разному под определённым углом, на определенной высоте. В качестве видеокамер используют высокочастотные (высокоскоростные) видеокамеры, например, с глобальным затвором или другие. Данные, полученные с видеокамер передаются на сервер, где на каждом из видеопотоков проводится определение скелета спортсмена по ключевым точкам (например, таким как голова, плечи, позвоночник, ноги, руки, стопы). Далее осуществляется восстановление (оцифровывание) скелета игрока в 3D пространстве в динамике, а также расположения снаряда (это необходимо чтобы понимать, как расположены разные части тела спортсмена в момент удара по отношению к спортивному снаряду и направлению удара/броска). Все программное обеспечение установлено на сервере, куда приходит видеопоток с камер. Весь анализ и обработку могут проводить прямо на сервере или облаке нейронными сетями и/или алгоритмами компьютерного зрения.

При определении расположения снаряда в 3D пространстве, определяют количество и время касаний с ним, расположение частей тела спортсмена по отношению к снаряду.

Помимо определения скелета спортсмена по голове, плечам, позвоночнику, ногам, и рукам, важным является определение стопы спортсмена в 3D пространстве, т.к. это необходимо для последующего анализа техники (например, куда направлена и где расположена стопа во время удара).

Способ могут осуществлять в режиме реального времени во время проведения матча или тренировки и/или после них.

Система автоматического восстановления 3D сцены происходящего на спортивном сооружении, основанная на данном способе, включает в себя программно-аппаратную платформу с нейронной сетью и компьютерным зрением для восстановления 3D сцены (координат объектов), взаимосвязанные между собой: по меньшей мере две видеокамеры, установленные на спортивной площадке под определённым углом, вычислительный кластер (сервер), сетевое хранилище для отснятых видеоматериалов, облачный сервис для долгосрочного хранения отснятых материалов.

Видеокамер может быть или три, или четыре или более, могут быть установлены на спортивной площадке по-разному, под определённым углом, на определенной высоте. В качестве видеокамер используют высокочастотные видеокамеры, например, с глобальным затвором. Данные, полученные с видеокамер передаются на вычислительный кластер (сервер), где на каждом из видеопотоков проводится определение скелета спортсмена по ключевым точкам (например, таким как голова, плечи, позвоночник, ноги, руки, стопы). Далее осуществляется восстановление скелета игрока в 3D пространстве в динамике, а также расположения снаряда (это необходимо чтобы понимать, как расположены разные части тела спортсмена в момент удара по отношению к спортивному снаряду и направлению удара/броска).

Программно-аппаратная платформа системы включает алгоритмы восстановления 3D сцены по получаемому видеопотоку, т.е. алгоритмы для определения 3D координат всех объектов, которые попадают в объективы камер.

Система и ее программно-аппаратная платформа выполнена с возможностью:

- обеспечивать допустимую погрешность позиционирования ступней, коленей, таза, плеч и головы спортсмена;

- обеспечивать допустимую погрешность позиционирования кистей рук и локтей спортсмена;

- обеспечивать допустимую погрешность определения момента касания снаряда;

- обеспечивать максимальное время обнаружения технической ошибки при обработке видеопотока в реальном времени в течение одной секунды;

- определения множества типов технических ошибок;

- в режиме реального времени обрабатывать видеопоток нейронной сетью с целью выявления ошибок исполнения технического действия спортсмена;

- генерации голосовых подсказок спортсмену и/или вывода пояснения на экран в случае выявления ошибки техники выполнения движения;

- генерации отчета о технических ошибках спортсмена с рекомендациями к их устранению;

- отправки видеофайлов в сетевое хранилище для последующего анализа и дообучения нейронной сети разработчиками;

- получать и устанавливать новые версии нейросети;

- сохранения и выгрузки видеофайлов для постоянного хранения после окончания игрового дня;

- загрузки видеофайлов в облачный сервис программно-аппаратной платформы для получения отчета о технических ошибках спортсмена с рекомендациями к их устранению (в случае соответствия видеофайлов требованиям к исходным данным);

- оплаты подписки на облачный сервис.

Все программное обеспечение установлено на сервере, куда приходит видеопоток с камер. Весь анализ и обработку могут проводить прямо на сервере (в том числе на облачном сервере) нейронными сетями и/или алгоритмами компьютерного зрения.

Пример осуществления способа и работы системы.

Спортсмен (например, футболист или баскетболист или др.) размещается на спортивной площадке. Четыре высокочастотные видеокамеры, например, с глобальным затвором (global shutter), подключенные напрямую в сервер по проводной или беспроводной связи, установленные на площадке и размещенные под углом 90 градусов друг к другу (может быть и две или три видеокамеры, размещенные под углом 90 градусов друг к другу) снимают и записывают расположение и движения спортсмена и снаряда. Видеопотоки с камер синхронизируют и полученные данные (видеофайл с записью расположения и движений спортсмена со снарядом) передают на сервер и сохраняют в файловое хранилище, где на каждом из этих видеопотоков с помощью программно-аппаратной платформы и задействованием нейронной сети проводят определение скелета спортсмена по его ключевым точкам, таким как голова, плечи, позвоночник, ноги, руки, стопы и расположение снаряда. Далее с помощью программно-аппаратной платформы и задействованием компьютерного зрения осуществляют восстановление скелета игрока в 3D пространстве в динамике, также, как и расположение снаряда, чтобы понимать, как расположены разные части тела игрока в момент удара по отношению к снаряду и направлению удара. При определении расположения снаряда в 3D пространстве, определяют количество и время касаний с ним, расположение частей тела спортсмена по отношению к снаряду. Важным является определение стопы спортсмена в 3D пространстве, т.к. это необходимо для анализа техники (например, куда направлена и где расположена стопа во время удара). Также если необходимо с помощью программно-аппаратной платформы в режиме реального времени обрабатывают видеопоток нейронной сетью с целью выявления ошибок исполнения технического действия спортсмена, и в случае выявления на 3D изображении ошибки техники выполнения движения генерируют голосовые подсказки игроку и/или выводят пояснения (метки) на экран, после чего генерируют отчет о технических ошибках спортсмена с рекомендациями к их устранению. При необходимости отправляют видеофайлы в сетевое хранилище для последующего анализа и дообучения нейронной сети разработчиками; а также сохранения и выгрузки видеофайлов для постоянного хранения после окончания игрового дня. Также предусмотрена возможность загрузки видеофайлов в облачный сервис программно-аппаратной платформы для обработки нейронными сетями и алгоритмами компьютерного зрения, а также для получения отчета о технических ошибках спортсмена с рекомендациями к их устранению (в случае соответствия видеофайлов требованиям к исходным данным). Сервером могут быть три разных компьютера, работающих в кластере или один большой и мощный сервер).

С помощью вышеуказанных автоматических способа и системы восстановления 3D сцены, основанных на точной съемке и записи действий спортсмена и снаряда видеокамерами, обработке видеопотоков программно-аппаратной платформой, можно восстановить 3D сцену происходящего в динамике на спортивном тренажёре, включая все движения спортсмена, траекторию движения снаряда, целевую мишень (мишени), в которую(ые) спортсмен должен сделать передачу, и посмотреть 3D видео выполнения технических элементов в динамике (например, удара по снаряду) и понять с высокой точностью какие у спортсмена были ошибки и в дальнейшем работать над их исправлением.

Изобретение относится к области вычислительной техники для автоматического восстановления 3D сцены происходящего на спортивном сооружении. Технический результат заключается в повышении точности и сокращении времени восстановления 3D координат объектов. Способ автоматического восстановления 3D сцены происходящего на спортивном сооружении включает следующие этапы: снимают и записывают движения спортсмена и расположение спортивного снаряда с помощью по меньшей мере двух видеокамер, установленных на спортивной площадке; осуществляют синхронизацию видеопотоков, полученных с по меньшей мере двух видеокамер; передают полученные данные на сервер, где на каждом из этих видеопотоков проводят определение скелета спортсмена по его ключевым точкам, таким как голова, плечи, позвоночник, ноги, руки и стопы; осуществляют восстановление скелета спортсмена и расположение снаряда в 3D пространстве в динамике. 2 н. и 11 з.п. ф-лы.

1. Способ автоматического восстановления 3D сцены происходящего на

спортивном сооружении, характеризующийся тем, что включает следующие этапы:

- снимают и записывают движения спортсмена и расположение спортивного снаряда с помощью по меньшей мере двух видеокамер, установленных на спортивной площадке;

- осуществляют синхронизацию видеопотоков, полученных с по меньшей мере двух видеокамер;

- передают полученные данные на сервер, где на каждом из этих видеопотоков проводят определение скелета спортсмена по его ключевым точкам, таким как голова, плечи, позвоночник, ноги, руки и стопы;

- осуществляют восстановление скелета спортсмена и расположение снаряда в 3D пространстве в динамике;

- дополнительно осуществляют видеоанализ техники выполнения движения спортсмена, при котором в режиме реального времени обрабатывают видеопотоки с целью выявления ошибок исполнения технического действия спортсмена.

2. Способ по п. 1, характеризующийся тем, что в случае выявления ошибки техники выполнения движения осуществляют генерацию голосовых подсказок спортсмену и/или вывод пояснения на экран.

3. Способ по п. 2, характеризующийся тем, что дополнительно осуществляют генерацию отчета о технических ошибках спортсмена с рекомендациями к их устранению.

4. Способ по п. 1, характеризующийся тем, что в качестве видеокамер используют высокочастотные видеокамеры.

5. Способ по п. 1, характеризующийся тем, что при определении расположения снаряда определяют количество и время касаний спортсмена с ним, а также расположение частей тела спортсмена по отношению к снаряду.

6. Система автоматического восстановления 3D сцены происходящего на спортивном сооружении, характеризующаяся тем, что содержит взаимосвязанные между собой по меньшей мере две видеокамеры, установленные на спортивной площадке, сервер, сетевое хранилище для отснятых видеоматериалов, облачный сервис для долгосрочного хранения отснятых материалов, программно-аппаратную платформу, установленную на сервере, причем система выполнена с возможностью определения скелета спортсмена по таким ключевым точкам, как голова, плечи, позвоночник, ноги, руки и стопы, причем система выполнена с дополнительной возможностью в режиме реального времени обрабатывать видеопоток с целью выявления ошибок исполнения технического действия спортсмена.

7. Система по п. 6, характеризующаяся тем, что видеокамеры представляют собой высокочастотные видеокамеры.

8. Система по п. 6, характеризующаяся тем, что выполнена с возможностью определения скелета спортсмена по таким ключевым точкам, как голова, плечи, позвоночник, ноги, руки и стопы, при помощи программно-аппаратной платформы, оснащенной компьютерным зрением и нейронной сетью.

9. Система по п. 6, характеризующаяся тем, что выполнена с дополнительной возможностью генерации голосовых подсказок спортсмену и/или вывода пояснения на экран в случае выявления ошибки техники выполнения движения.

10. Система по п. 6, характеризующаяся тем, что выполнена с дополнительной возможностью генерации отчета о технических ошибках спортсмена с рекомендациями к их устранению.

11. Система по п. 6, характеризующаяся тем, что выполнена с возможностью отправки видеофайлов в сетевое хранилище для последующего анализа и дообучения нейронной сети разработчиками.

12. Система по п. 6, характеризующаяся тем, что выполнена с возможностью сохранения и выгрузки видеофайлов для постоянного хранения после окончания игрового дня.

13. Система по п. 6, характеризующаяся тем, что выполнена с возможностью загрузки видеофайлов в облачный сервис.