Способ распознавания и классификации действий сотрудников ручного труда по данным с носимых устройств, оснащённых сенсорами физической активности Российский патент 2022 года по МПК G06Q10/06 G06N20/00 

Область техники, к которой относится изобретение

Изобретение относится к сфере нормирования ручного труда и может быть использовано для построения профиля активности и перечня выполняемых действий сотрудниками ручного труда в течение рабочего времени, для дальнейшего анализа и определения эффективности труда, а также оптимизации трудовых процессов на основе обработки временных рядов (сигналов) показаний сенсоров физической активности, закрепленных на теле человека.

Уровень техники

Из уровня техники известны решения, применяемые для задачи одноуровневой классификации видов спортивной (физической) активности с ярко выраженными паттернами временных рядов (или формами сигналов) показаний сенсоров, характеризующих то или иное движение, и явно указываемыми целевыми видами активности. Как правило это классификация вида «ходил/бегал/не двигался» или аналогичные примеры. Такие примеры можно встретить в фитнесс-трекерах или мобильных телефонах.

Техническая задача, решаемая настоящим изобретением, состоит в разработке способа классификации действий сотрудников ручного труда, по данным IMU/MEMS и других сенсоров, закрепленных на теле человека с применением многоуровневой иерархической классификации, позволяющей на качественно высоком уровне определять профиль активности сотрудника в течение рабочего времени -выполняемые элементарные движения и действия, выполняемые технологические операции, выполняемые технологические процессы, и др. уровни активности. При этом достигается возможность распознавания и классификации трудноформализуемых уровней действий с отсутствующими явными паттернами временных рядов показаний сенсоров (например «работал/обедал/не работал»).

Изобретение состоит в выполнении следующих действий:

- проводит анализ видов активности человека при выполнении рассматриваемого вида трудовой деятельности;

- формирует иерархическую структуру классов, соответствующих видам активности человека на основе проведенного анализа видов активности человека (результатом является множество меток классов с заданной иерархией);

- производит сбор данных с носимых устройств, оснащенных сенсорами физической активности человека, в процессе выполнения рассматриваемых видов трудовой деятельности и/или сопутствующих активностей (результатом является множество временных рядов показаний сенсоров физической активности - обучающий набор данных);

- производит разметку собранных данных об активности человека посредством соотнесения точек и/или сегментов временного ряда с набором меток классов сформированной иерархической структуры (результатом является набор размеченных интервалов временных рядов);

- на каждом из уровней иерархии по размеченным данным строит набор алгоритмов классификации (алгоритмов машинного обучения), автоматически ставящих в соответствие точке и/или сегменту временного ряда показаний сенсоров физической активности набор меток классов с оценкой достоверности каждой метки;

- производит итерационный процесс дообучения и коррекции алгоритмов классификации по результатам комплексного анализа меток, причем при обучении математических моделей верхнего уровня могут учитывать результаты классификации моделями нижнего уровня (обогащение) и, наоборот, верхнего уровня (коррекция);

- при необходимости выполняет построение алгоритмической композиции над совокупностью построенных алгоритмов классификации для каждого и/или отдельных уровней иерархии классов, при необходимости, может выполняться алгебраическая и логическая коррекция построенных алгоритмов классификации и алгоритмических композиций, дополнительный сбор обучающих данных и дообучение алгоритмов классификации.

- построенные алгоритмы или алгоритмические композиции используют в дальнейшем для автоматической разметки новых данных, получаемых с носимых устройств в процессе выполнения трудовых и/или иных видов активности человека.

Раскрытие изобретения

Предлагается способ распознавания и классификации действий сотрудников ручного труда по данным, получаемым с носимых устройств (включающих различные IMU/MEMS сенсоры акселерометр и гироскоп, сенсоры барометр, пульсометр, геолокации и др.), состоящий в использовании многоуровневой иерархической классификации действий.

Заявляемое изобретение направлено на получение следующего технического результата:

В существующих на данный момент решениях, направленных на распознавание физической активности по данным акселерометра и гироскопа как правило рассматриваются относительно простые классы действий человека: ходьба, бег, движение по лестнице и т.п.Форма сигналов, полученных с сенсоров носимых устройств, для простых движений определяется биомеханикой процессов имеет явный периодический характер и сравнительно легко поддается распознаванию. Устройства, способные с достаточной точностью классифицировать простые движения, широко распространены и известны потребителю как фитнес-трекеры.

Предлагаемый же в изобретении способ позволяет решать более сложные задачи, такие как классификация ручного труда сотрудников в процессе выполнения трудовых обязанностей или классификация других сложных/составных видов физической активности человека с не выраженным периодическим характером сигналов или временных рядов показаний сенсоров физической активности.

Трудовая деятельность сотрудника состоит из последовательности технологических процессов - законченных алгоритмов действий (технологических карт), направленных на создание конечного результата. Технологические процессы состоят из технологических операций, относительно независимых этапов работ. Технологические операции состоят из базовых движений - элементарных действий. Это - повторяющиеся действия человека длительностью от 1 до нескольких секунд, отличающиеся характерной формой сигналов сенсоров акселерометра и гироскопа. Элементарные действия в свою очередь состоят из микродействий или элементарных движений обычно длительностью от нескольких миллисекунд до нескольких секунд. Разбор определенной модели двигателя внутреннего сгорания является примером технического процесса, снятие крышки блока цилиндров является примером технологической операции, отвинчивание креплений ключом с храповым механизмом является примером последовательности элементарных действий - движений ключом, поворот кисти руки на определенный угол или подъем руки являются микродействиями.

В рамках предлагаемого способа построения модели классификации видов действий предлагается рассматривать всю активность рабочего в парадигме многоуровневой иерархической классификации выполняемых действий. Каждый уровень делится на под действия нижнего уровня, при этом действия могут пересекаться. На нижнем уровне иерархии решается задача классификации сегментов временных рядов сенсоров акселерометра и гироскопа, производится классификация микродействий и элементарных действий. На верхнем уровне иерархии выполняется классификация последовательностей элементарных действий, производится классификация технологических операций и технологических процессов. Таким образом, микродействия и элементарные действия формируют некоторый алфавит «букв», описывающий «слова» - технологические операции, из которых складываются «предложения» - технологические процессы.

Существенные признаки изобретения построение иерархической системы классификации и распознавания действий - от элементарных движений или микродействий и элементарных действий до технологических процессов и видов активностей.

Преимущества по сравнению с аналогами

По сравнению с другими способами построения моделей классификации данных акселерометра и гироскопа предлагаемый подход многоуровневой классификации имеет ряд преимуществ:

1. Выделение микродействий и элементарных действий создает алфавит для распознавания концептуально более сложных классов технологических операций, что сокращает сложность классификации.

2. Поскольку один и тот же технологический процесс описывается различными комбинациями элементарных действий, способ позволяет снизить влияние ошибок нижнего уровня классификации.

3. Разбиение на несколько уровней позволяет интерпретировать результаты классификации, что увеличивает доверие к итоговому алгоритму классификации действий сотрудников ручного труда.

4. Возможность классификации плохоформализуемых видов активностей с отсутствующими характерными паттернами сигналов или временных рядов показаний сенсоров, например, «рабочая активность/не рабочая активность/обед».

Классификация действий сотрудников может производиться с помощью человека, чаще всего менеджера первого звена управления (мастера или прораба). По сравнению с ручным визуальным методом классификация действий сотрудников предлагаемое решение, основанное на анализе данных акселерометра и гироскопа, имеет ряд преимуществ:

1. Возможность реализации постоянного мониторинга сотрудников, что очень затратно реализовать с помощью человека.

2. Высокое качество классификации, связанное с отсутствием субъективности и усталости, присущими человеку.

Классификация действий сотрудников может производиться с помощью анализа видеопотока. По сравнению с анализом видеопотока предлагаемое решение, основанное на анализе данных акселерометра и гироскопа, имеет ряд преимуществ:

1. Отсутствуют требований к разветвленной инфраструктуре передачи данных, необходимой для работы видеокамер и передачи изображений на сервера обработки, что делает предлагаемый подход дешевле.

2. Возможность использования на удаленных объектах, которые не имеют достаточной инфраструктуры.

3. Высокое качество классификации действий сотрудников, со слабозаметной моторикой конечностей.

Признаки, используемые для характеристики способов

Виды уровней:

0. Рабочая активность/не рабочая активность.

1. Технологический процесс (например, построение каркаса).

2. Операция (например, установка вертикальной/горизонтальной полки, разметка).

3. Действие (например, работа дрелью, удары молотком, черчение линии).

4. Элементарное действие (например, удар молотком, штрих карандашом).

5. Микродействие (например, поворот кисти руки на угол 90 градусов).

К элементарным действиям добавляются дополнительные признаки (например, направление ударов молотком вертикальное/горизонтальное и т.д.)

Рисунок 1. Пример иерархической классификации действий сотрудника. Элементарное движение (уровень 5) - «вертикальный удар молотком»; элементарное действие (уровень 4) - «удар молотком»; действие (уровень 3) «удары молотком»; операция (уровень 2) - «установка вертикальной планки»; технологический процесс (уровень 1) - «построение каркаса». Действие относится к рабочей активности (уровень 0).

Формальная постановка задачи многоуровневой классификации Задан набор временных рядов

и набор оракулов

каждый из которых сопоставляет отсчетам времени некоторую метку класса:

Предполагается, что на классах есть иерархия

Для каждого оракула задана функция качества

Требуется восстановить зависимость

максимизирующую качество классификации

Решающее правило a_h строится как суперпозиция a_h = ƒ_h ⋅ g_h, где g_h признаковое описание отсчета времени t_i, ƒ_h некоторое параметрическое семейство функций. Предполагается, что знание меток позволяет повысить качество классификации . В связи с этим, задача классификации решается для каждого уровня h = 1 иерархии О₁ < … < О, и предсказанные классификатором метки используются для построения признакового пространства

Параметрический класс функцийƒ_h, конкретизируется в процессе решения практических задач анализа данных и зависит от структуры иерархии классов, а также от выбора критерия проверки качества для решающего правила a_h. Примером хорошего и универсального параметрического класса функций служит градиентный бустинг над множеством решающих деревьев. Целевая зависимость a_h моделируется в виде:

где A некоторое множество допустимых значений гиперпараметров c_m, b_m веса с которыми учитывается вклад каждой из функции ƒ_h в определении метки класса y_h. Веса b_m определяются в результате решения следующей задачи оптимизации.

Осуществление изобретения

Схема решения задачи классификации видов деятельности сотрудника 1. Способ сбора обучающей выборки

a. На сотруднике ручного труда, закрепляются носимые устройства, оснащенных сенсорами физической активности (акселерометр, гироскоп, и др., или их комбинации). Осуществляется запись временных рядов с показаниями всех сенсоров в течение рабочего дня/смены. В процессе записи временных рядов осуществляется протоколирование выполняемых действий с использованием видеосъемки и/или других способов фиксации, выполняемых действий (так называемая «фотография рабочего дня»).

b. Аналитиком-исследователем совместно с технологом/консультантом по наблюдаемым видам активности формируется иерархическая модель классификация наблюдаемых действий, определяемая набором меток классов для каждого уровня - метки классов для типичных и характерных микродействий; метки классов, соответствующих элементарным действиям, действиям, операциям, технологическим процессам, видам активностей и вспомогательным классам.

с. По сформированном списку меток классов специалистами по разметке данных (экспертами и асессорами) формируется обучающая выборка данных. А именно, осуществляется разметка временных рядов показаний сенсоров с носимых устройств по видеоданным - формирование последовательности сегментов временных рядов показаний сенсоров с указанием меток классов иерархической модели, к которым относится данный сегмент.

2. На собранной обучающей выборке выполняется обучение математических моделей распознавания и классификации действий. В результате, для каждого уровня иерархической классификации - строится набор алгоритмов, позволяющих поставить в соответствие каждой точке временного ряда показаний сенсоров с носимых устройств определенную метку класса. При этом при обучении математических моделей верхнего уровня иерархии классов в качестве дополнительных признаков используются результаты работы алгоритмов нижнего уровня иерархии классов (процедура обогащения) и наоборот (процедура коррекции).

3. Строится итоговый алгоритм классификации действий и видов физической активности как алгоритмическая композиция над совокупностью построенных моделей (алгоритмов) классификации для каждого из уровней.

4. Построенный итоговый алгоритм в дальнейшем используется в системах мониторинга и анализа ручного труда сотрудников для автоматизированной классификации видов деятельности по временным рядам показаний сенсоров физической активности, закрепленных на теле сотрудников в течение рабочего дня/смены.

Изобретение относится к сфере нормирования ручного труда и может быть использовано для построения профиля активности и перечня выполняемых действий сотрудниками ручного труда в течение рабочего времени, для дальнейшего анализа и определения эффективности труда, а также оптимизации трудовых процессов на основе обработки временных рядов (сигналов) показаний сенсоров физической активности, закрепленных на теле человека. Технический результат - возможность классификации ручного труда сотрудников в процессе выполнения трудовых обязанностей или классификации других сложных/составных видов физической активности человека с невыраженным периодическим характером сигналов или временных рядов показаний сенсоров физической активности. Способ распознавания и классификации действий сотрудников ручного труда по данным с носимых устройств, оснащенных сенсорами физической активности характеризует: сбор данных с сенсоров физической активности, анализ видов действий сотрудников ручного труда при выполнении рассматриваемого вида трудовой деятельности; формирование иерархической модели классификации; формирование обучающей выборки данных; построение алгоритмической композиции над совокупностью построенных алгоритмов классификации для каждого и/или отдельных уровней иерархии классов, которые используют в дальнейшем для автоматической разметки новых данных.

Способ распознавания и классификации действий сотрудников ручного труда по данным с носимых устройств, оснащенных сенсорами физической активности, состоящий в выполнении следующих действий:

- проводят анализ видов активности человека при выполнении рассматриваемого вида трудовой деятельности;

- формируют иерархическую структуру классов, соответствующих видам активности человека на основе проведенного анализа видов активности человека;

- производят сбор данных с носимых устройств, оснащенных сенсорами физической активности человека, в процессе выполнения рассматриваемых видов трудовой деятельности и/или сопутствующих активностей;

- производят разметку собранных данных об активности человека посредством соотнесения точек и/или сегментов временного ряда с набором меток классов сформированной иерархической структуры;

- на каждом из уровней иерархии по размеченным данным строят набор алгоритмов машинного обучения, автоматически ставящих в соответствие точке и/или сегменту временного ряда показаний сенсоров физической активности набор меток классов с оценкой достоверности каждой метки;

- используют построенные алгоритмы для автоматической разметки новых данных, получаемых с носимых устройств в процессе выполнения трудовых и/или иных видов активности человека,

- производят итерационный процесс до обучения и коррекции алгоритмов классификации по результатам комплексного анализа меток таким образом, что при обучении математических моделей верхнего уровня могут учитываться результаты классификации с использованием алгоритмов как нижнего уровня, так и верхнего уровня,

- выполняют построение алгоритмической композиции над совокупностью построенных алгоритмов классификации для каждого и/или отдельных уровней иерархии классов с возможностью выполнения алгебраической и логической коррекции построенных алгоритмов классификации и алгоритмических композиций посредством дополнительного сбора обучающих данных и до обучения алгоритмов классификации;

- построенные алгоритмы или алгоритмические композиции используют для автоматической разметки новых данных, получаемых с носимых устройств в процессе выполнения трудовых и/или иных видов активности человека.