СПОСОБ ВЫЯВЛЕНИЯ ТЕХНИЧЕСКИХ ОШИБОК СПОРТСМЕНА И СИСТЕМА ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2021 года по МПК G06T7/20 G06K9/20 G06T17/00 

Область техники, к которой относится изобретение

Изобретение относится к системе выявления технических ошибок спортсмена при исполнении технических действий или статических поз с применением компьютерного зрения и/или искусственных нейронных сетей.

Уровень техники

Из уровня техники известен способ регистрации и анализа соревновательных игровых действий спортсменов (RU 2599699 С1, опубл. 10.10.2016). Способ регистрации и анализа соревновательных игровых действий спортсменов, включающий применение видеокамер в реальном времени, регистрирующих объекты (игроков, мяч, шайбу), и последующий оперативный анализ полученного изображения в информационной среде в центральном модуле обработки изображения, в который входят статистический, аналитический и графический модули, данные от которых поступают на сервер оперативных приложений, при этом регистрируют и анализируют соревновательные игровые действия на основе интегрального параметра - командная площадь игры (CS), включающего обобщенные динамические характеристики: скорость изменения командной площади игры (CSv); фигура командной площади игры (CSf), и частные динамические характеристики: командная площадь игры нападения (CSi); командная площадь игры защиты (CSp); площадь перекрытия (CSip); фигура командной площади игры нападения (CSfi); фигура командной площади игры защиты (CSfp); скорость изменения командной площади игры нападения (CSvi), скорость изменения командной площади игры защиты (CSvp), динамические характеристики обрабатывают в аналитическом модуле и преобразовывают в графические игровые схемы, игровые ситуации, а также во взаимодействия и соотношения объектов (игроков, мяча, шайбы) в графическом модуле с последующей индексацией, хранением и поиском статистической, аналитической и графической информации на сервере оперативных приложений.

Недостатком такого способа является низкая точность и скорость выявления технических ошибок спортсмена.

Заявленное изобретение устраняет указанные недостатки и позволяет достичь заявленный технический результат.

Раскрытие изобретения

Технической задачей, которую решает предлагаемое решение, является создание способа и системы для автоматического выявления технических ошибок спортсмена, при исполнении технических действий или статических поз, исключающие человеческий фактор и субъективную оценку из процесса определения и коррекции техники выполнения технических элементов спортсменами, повышающие скорость и точность выявления технических ошибок спортсмена и дальнейшей работы над их исправлением, повышающие результативность тренировочного процесса.

Технический результат заключается в исключении человеческого фактора и субъективной оценки из процесса определения и коррекции техники выполнения технических элементов спортсменами, повышении скорости и точности выявления технических ошибок спортсмена и дальнейшем работы над их исправлением, повышении результативности тренировочного процесса.

Для решения поставленной задачи с достижением заявленного технического результата способ автоматического выявления технических ошибок спортсмена состоит из следующих этапов:

- снимают и записывают движения спортсмена с помощью по меньшей мере двух видеокамер, установленных на спортивной площадке;

- передают отснятый видеопоток на сервер обработки видео, на котором осуществляют анализ видеопотока в два этапа;

- на первом этапе анализа видеопотока определяют положение тела спортсмена в пространстве, определяют взаимное расположение частей тела спортсмена в пространстве, включая углы поворота в суставах; и получают координаты всех частей тела спортсмена и углы поворота в суставах с необходимой точностью для данного вида физической активности и уровня спортсмена;

- на втором этапе осуществляют анализ полученных данных на предмет корректности исполнения технических действий и/или статической позы;

- осуществляют генерацию голосовых подсказок спортсмену и/или вывод пояснения на экран в случае выявления ошибки техники выполнения технических действий;

- осуществляют генерацию отчета о технических ошибках спортсмена с рекомендациями по их коррекции.

В качестве видеокамер используют высокочастотные видеокамеры.

При анализе видеопотока на первом этапе определяют положение тела спортсмена в пространстве по ключевым точкам, таким как голова, плечи, позвоночник, ноги, руки, стопы.

При анализе видеопотока на первом этапе высчитывают такие параметры как скорость и ускорение движения как всего тела, так и отдельных его частей.

Дополнительно высчитывают скорости поворота в суставах.

Рекомендации по коррекции техники исполнения выдают как в режиме реального времени, так и после тренировки в виде отчёта и/или в виде видеофайла, размеченного правильными или неправильными техническими действиями и/или позами спортсмена.

Этапы анализа видеопотока осуществляют с помощью программно-аппаратной платформы с применением компьютерного зрения и/или искусственных нейронных сетей.

Система автоматического выявления технических ошибок спортсмена содержит взаимосвязанные между собой посредством беспроводной и/или проводной связи, по меньшей мере две видеокамеры, установленные на спортивной площадке, сервер, сетевое хранилище для отснятых видеоматериалов, облачный сервис для долгосрочного хранения отснятых материалов, программно-аппаратную платформу, установленную на сервере, при этом система выполнена с возможностью анализа в два этапа отснятого, по меньшей мере двумя видеокамерами, видеопотока и выявления технических ошибок спортсмена посредством программно-аппаратной платформы с применением компьютерного зрения и/или искусственных нейронных сетей.

Видеокамеры представляют собой высокочастотные видеокамеры.

Система выполнена с возможностью определения положения тела спортсмена по таким ключевым точкам как голова, плечи, позвоночник, ноги, руки и стопы.

Система выполнена с дополнительной возможностью высчитывания скорости поворота в суставах.

Система выполнена с дополнительной возможностью в режиме реального времени обрабатывать видеопоток с целью выявления ошибок выполнения технического действия спортсмена.

Система выполнена с дополнительной возможностью генерации голосовых подсказок спортсмену и/или вывода пояснения на экран в случае выявления ошибки техники выполнения движения.

Система выполнена с дополнительной возможностью генерации отчета о технических ошибках спортсмена с рекомендациями по их коррекции.

Система выполнена с дополнительной возможностью генерации рекомендации по коррекции техники исполнения как в режиме реального времени, так и после тренировки в виде отчёта и/или в виде видеофайла, размеченного правильными или неправильными техническими действиями и/или позами спортсмена.

Система выполнена с возможностью отправки видеофайлов в сетевое хранилище для последующего анализа и дообучения нейронной сети разработчиками.

Система выполнена с возможностью сохранения и выгрузки видеофайлов для постоянного хранения после окончания игрового дня.

Система выполнена с возможностью загрузки видеофайлов в облачный сервис.

Осуществление изобретения

Способ автоматического выявления технических ошибок спортсмена, при исполнении технических действий или статических поз, состоит из следующих этапов:

- снимают и записывают движения спортсмена с помощью по меньшей мере двух видеокамер, установленных на спортивной площадке;

- передают отснятый видеопоток на сервер обработки видео, на котором осуществляют анализ видеопотока в два этапа;

- на первом этапе анализа видеопотока определяют положение тела спортсмена в пространстве, определяют взаимное расположение частей тела спортсмена в пространстве, включая углы поворота в суставах; и получают координаты всех частей тела спортсмена и углы поворота в суставах с необходимой точностью для данного вида физической активности и уровня спортсмена;

- на втором этапе осуществляют анализ полученных данных на предмет корректности исполнения технических действий и/или статической позы;

- осуществляют генерацию голосовых подсказок спортсмену и/или вывод пояснения на экран в случае выявления ошибки техники выполнения технических действий;

- осуществляют генерацию отчета о технических ошибках спортсмена с рекомендациями к их устранению.

При анализе видеопотока на первом этапе могут определять положение тела спортсмена в пространстве по ключевым точкам, например, таким как голова, плечи, позвоночник, ноги, руки, стопы.

Кроме того, могут высчитываются такие параметры как скорость и ускорение движения как всего тела, так и отдельных его частей. Также если необходимо высчитываются скорости поворота в суставах.

Рекомендации по коррекции техники исполнения могут выдаваться как в режиме реального времени, так и после тренировки в различных форматах как в виде отчёта, так и в виде видеофайла, который размечен правильными или неправильными техническими действиями и/или позами.

Способ может осуществляться с помощью программно-аппаратной платформы с применением компьютерного зрения и/или искусственных нейронных сетей.

Например, первый этап анализа видеопотока, при котором определяют положение тела спортсмена в пространстве и взаимное расположение частей тела спортсмена в пространстве, включая углы поворота в суставах, могут осуществлять с помощью искусственных нейронных сетей, а получение координат всех частей тела спортсмена и углы поворота в суставах с необходимой точностью для данного вида физической активности и уровня спортсмена могут осуществлять с помощью компьютерного зрения. Например, второй этап, при котором осуществляют анализ полученных данных на предмет корректности исполнения технических действий и/или статической позы, могут осуществлять с помощью искусственных нейронных сетей. При этом нейронные сети и компьютерное зрение могут применяться и в другой вариативности (в другой последовательности, других этапах и т.д.), не ограничиваясь вышеуказанными примерами, в том числе, первый этап могут осуществлять с помощью нейронной сети одной сеткой или одним алгоритмом компьютерного зрения, либо по любому другому подходящему варианту.

Видеокамеры могут снимать спортсмена сразу синхронно, либо не синхронно, и затем отдельно осуществлять синхронизацию видеопотоков. Камеры могут быть установлены на спортивной площадке по-разному, под определённым углом, на определенной высоте, и соединены с сервером по беспроводной или беспроводной связи. В качестве видеокамер могут использовать высокочастотные (высокоскоростные) видеокамеры, например, с глобальным затвором или другие.

При определении положения тела спортсмена в пространстве, важным является определение стопы спортсмена, т.к. это необходимо для последующего анализа техники (например, куда направлена и где расположена стопа во время удара).

Способ осуществляют в режиме реального времени во время проведения матча или тренировки и/или после них.

Способ может быть применим для автоматического анализа и коррекции техники выполнения движения, например, футболистов или других спортсменов, выявляя разные типы ошибок, например:

- положение корпуса;

- положение опорной ноги;

- положение ударной ноги;

- количество касаний спортивного снаряда;

- выход из эффективной игровой зоны;

- быстрота работы со спортивным снарядом.

Весь анализ и обработку могут проводить прямо на сервере (в том числе на облачном сервере) нейронными сетями и алгоритмами компьютерного зрения.

Способ могут осуществлять в режиме реального времени во время проведения матча или тренировки и/или после них.

Система автоматического выявления технических ошибок спортсмена, основанная на данном способе, включает в себя взаимосвязанные между собой посредством беспроводной и/или проводной связи, по меньшей мере две видеокамеры, установленные на спортивной площадке под определённым углом, сервер, сетевое хранилище для отснятых видеоматериалов, облачный сервис для долгосрочного хранения отснятых материалов, программно-аппаратную платформу, установленную на сервере. Система выполнена с возможностью анализа в два этапа отснятого, по меньшей мере двумя видеокамерами, видеопотока и выявления технических ошибок спортсмена посредством программно-аппаратной платформы с применением компьютерного зрения и искусственных нейронных сетей.

Видеокамер может быть или три, или четыре или более, могут быть установлены на спортивной площадке по-разному, под определённым углом, на определенной высоте. В качестве видеокамер используют высокочастотные видеокамеры, например, с глобальным затвором. Данные, полученные с видеокамер передаются на вычислительный кластер (сервер), где на каждом из видеопотоков проводится определение положение тела спортсмена по ключевым точкам (например, таким как голова, плечи, позвоночник, ноги, руки, стопы).

Программно-аппаратная платформа системы включает алгоритмы восстановления 3D сцены по получаемому видеопотоку, т.е. алгоритмы для определения 3D координат всех объектов, которые попадают в объективы камер.

Система и ее программно-аппаратная платформа для видеоанализа техники выполнения движения спортсменов выполнена с возможностью:

- обеспечивать допустимую погрешность позиционирования ступней, коленей, таза, плеч и головы спортсмена;

- обеспечивать допустимую погрешность позиционирования кистей рук и локтей спортсмена;

- обеспечивать допустимую погрешность определения момента касания снаряда;

- обеспечивать максимальное время обнаружения технической ошибки при обработке видеопотока в реальном времени в течение одной секунды;

- определения множества типов технических ошибок;

- в режиме реального времени обрабатывать видеопоток нейронной сетью с целью выявления ошибок исполнения технического действия спортсмена;

- генерации голосовых подсказок спортсмену и/или вывода пояснения на экран в случае выявления ошибки техники выполнения движения;

- генерации отчета о технических ошибках спортсмена с рекомендациями к их устранению;

- отправки видеофайлов в сетевое хранилище для последующего анализа и дообучения нейронной сети разработчиками;

- получать и устанавливать новые версии нейросети;

- сохранения и выгрузки видеофайлов для постоянного хранения после окончания игрового дня;

- загрузки видеофайлов в облачный сервис программно-аппаратной платформы для получения отчета о технических ошибках спортсмена с рекомендациями к их устранению (в случае соответствия видеофайлов требованиям к исходным данным);

- оплаты подписки на облачный сервис.

Все программное обеспечение установлено на сервере, куда приходит видеопоток с камер. Весь анализ и обработку могут проводить прямо на сервере (в том числе на облачном сервере) нейронными сетями и/или алгоритмами компьютерного зрения.

Пример осуществления способа и работы системы.

Спортсмен (например, футболист или баскетболист или др.) размещается на спортивной площадке. Четыре высокочастотные видеокамеры, например, с глобальным затвором (global shutter), установленные на площадке и размещенные под углом 90 градусов друг к другу (может быть и две или три видеокамеры, размещенные под углом 90 градусов друг к другу) снимают и записывают расположение и движения спортсмена. Видеопотоки с камер синхронизируют и полученные данные (видеофайл с записью расположения и движений спортсмена передают на сервер обработки видео, где осуществляют анализ видеопотока в два этапа. На первом этапе анализа видеопотока определяют положение тела спортсмена в пространстве и взаимное расположение частей тела спортсмена в пространстве, включая углы поворота в суставах; и получают координаты всех частей тела спортсмена и углы поворота в суставах с необходимой точностью для данного вида физической активности и уровня спортсмена. На втором этапе осуществляют анализ полученных данных на предмет корректности исполнения технических действий и/или статической позы. При получении координат частей тела определяют положение тела спортсмена по его ключевым точкам, таким как голова, плечи, позвоночник, ноги, руки, стопы. Важным является определение положения стопы спортсмена (например, куда направлена и где расположена стопа во время удара). С помощью программно-аппаратной платформы в режиме реального времени обрабатывают видеопоток с целью выявления ошибок исполнения технического действия спортсмена, и в случае выявления ошибки техники выполнения движения генерируют голосовые подсказки игроку и/или выводят пояснения (метки) на экран, после чего генерируют отчет о технических ошибках спортсмена с рекомендациями к их устранению. При необходимости отправляют видеофайлы в сетевое хранилище для последующего анализа и дообучения нейронной сети разработчиками; а также сохранения и выгрузки видеофайлов для постоянного хранения после окончания игрового дня. Также предусмотрена возможность загрузки видеофайлов в облачный сервис программно-аппаратной платформы для получения отчета о технических ошибках спортсмена с рекомендациями к их устранению. Кроме того, программой могут высчитываются такие параметры как скорость и ускорение движения как всего тела, так и отдельных его частей. Также если необходимо высчитываются скорости поворота в суставах. Рекомендации по коррекции техники исполнения могут выдаваться как в режиме реального времени, так и после тренировки в различных форматах как в виде отчёта, так и в виде видеофайла, который размечен правильными или неправильными техническими действиями и/или позами.

С помощью вышеуказанных автоматических способа и системы выявления технических ошибок спортсмена, основанных на точной съемке и записи действий спортсмена видеокамерами, точном и быстром определении положения тела спортсмена, взаимного расположения частей тела спортсмена в пространстве, точном и быстром анализе, можно исключить человеческий фактор и субъективную оценку из процесса постановки и коррекции техники выполнения технических элементов спортсменами, что позволит. быстро и с высокой точностью понять какие у спортсмена были ошибки и в дальнейшем работать над их исправлением, и тем самым увеличить результативность тренировочного процесса.

Изобретение относится к области вычислительной техники для выявления технических ошибок спортсмена. Технический результат заключается в повышении скорости и точности выявления технических ошибок спортсмена. Способ автоматического выявления технических ошибок спортсмена состоит из следующих этапов: снимают и записывают движения спортсмена; передают отснятый видеопоток на сервер обработки видео; на первом этапе анализа видеопотока определяют положение тела спортсмена в пространстве, определяют взаимное расположение частей тела спортсмена в пространстве, включая углы поворота в суставах; и получают координаты всех частей тела спортсмена и углы поворота в суставах с необходимой точностью для данного вида физической активности и уровня спортсмена; на втором этапе осуществляют анализ полученных данных на предмет корректности исполнения технических действий и/или статической позы; осуществляют генерацию голосовых подсказок спортсмену и/или вывод пояснения на экран в случае выявления ошибки техники выполнения технических действий; осуществляют генерацию отчета о технических ошибках спортсмена с рекомендациями по их коррекции. 2 н. и 14 з.п. ф-лы.

1. Способ автоматического выявления технических ошибок спортсмена, характеризующийся тем, что состоит из следующих этапов:

- снимают и записывают движения спортсмена с помощью по меньшей мере двух видеокамер, установленных на спортивной площадке;

- передают отснятый видеопоток на сервер обработки видео, на котором осуществляют анализ видеопотока в два этапа;

- на первом этапе анализа видеопотока определяют положение тела спортсмена в пространстве по ключевым точкам, таким как голова, плечи, позвоночник, ноги, руки, стопы, определяют взаимное расположение частей тела спортсмена в пространстве, включая углы поворота в суставах; и получают координаты всех частей тела спортсмена и углы поворота в суставах с необходимой точностью для данного вида физической активности и уровня спортсмена;

- на втором этапе осуществляют анализ полученных данных на предмет корректности исполнения технических действий и/или статической позы;

- осуществляют генерацию голосовых подсказок спортсмену и/или вывод пояснения на экран в случае выявления ошибки техники выполнения технических действий;

- осуществляют генерацию отчета о технических ошибках спортсмена с рекомендациями по их коррекции.

2. Способ по п. 1, характеризующийся тем, что в качестве видеокамер используют высокочастотные видеокамеры.

3. Способ по п. 1, характеризующийся тем, что при анализе видеопотока на первом этапе высчитывают такие параметры, как скорость и ускорение движения как всего тела, так и отдельных его частей.

4. Способ по п. 3, характеризующийся тем, что дополнительно высчитывают скорости поворота в суставах.

5. Способ по п. 1, характеризующийся тем, что рекомендации по коррекции техники исполнения выдают как в режиме реального времени, так и после тренировки в виде отчёта и/или в виде видеофайла, размеченного правильными или неправильными техническими действиями и/или позами спортсмена.

6. Способ по п. 1, характеризующийся тем, что этапы анализа видеопотока осуществляют с помощью программно-аппаратной платформы с применением компьютерного зрения и/или искусственных нейронных сетей.

7. Система автоматического выявления технических ошибок спортсмена, характеризующаяся тем, что содержит взаимосвязанные между собой посредством беспроводной и/или проводной связи по меньшей мере две видеокамеры, установленные на спортивной площадке, сервер, сетевое хранилище для отснятых видеоматериалов, облачный сервис для долгосрочного хранения отснятых материалов, программно-аппаратную платформу, установленную на сервере, причем система выполнена с возможностью анализа в два этапа отснятого по меньшей мере двумя видеокамерами видеопотока и выявления технических ошибок спортсмена посредством программно-аппаратной платформы с применением компьютерного зрения и/или искусственных нейронных сетей, при этом система выполнена с возможностью определения, на первом этапе анализа видеопотока, положения тела спортсмена по таким ключевым точкам, как голова, плечи, позвоночник, ноги, руки и стопы.

8. Система по п. 7, характеризующаяся тем, что видеокамеры представляют собой высокочастотные видеокамеры.

9. Система по п. 7, характеризующаяся тем, что выполнена с дополнительной возможностью высчитывания скорости поворота в суставах.

10. Система по п. 7, характеризующаяся тем, что выполнена с дополнительной возможностью в режиме реального времени обрабатывать видеопоток с целью выявления ошибок выполнения технического действия спортсмена.

11. Система по п. 7, характеризующаяся тем, что выполнена с дополнительной возможностью генерации голосовых подсказок спортсмену и/или вывода пояснения на экран в случае выявления ошибки техники выполнения движения.

12. Система по п. 7, характеризующаяся тем, что выполнена с дополнительной возможностью генерации отчета о технических ошибках спортсмена с рекомендациями по их коррекции.

13. Система по п. 7, характеризующаяся тем, что выполнена с дополнительной возможностью генерации рекомендации по коррекции техники исполнения как в режиме реального времени, так и после тренировки в виде отчёта и/или в виде видеофайла, размеченного правильными или неправильными техническими действиями и/или позами спортсмена.

14. Система по п. 7, характеризующаяся тем, что выполнена с возможностью отправки видеофайлов в сетевое хранилище для последующего анализа и дообучения нейронной сети разработчиками.

15. Система по п. 7, характеризующаяся тем, что выполнена с возможностью сохранения и выгрузки видеофайлов для постоянного хранения после окончания игрового дня.

16. Система по п. 7, характеризующаяся тем, что выполнена с возможностью загрузки видеофайлов в облачный сервис.