Способ регистрации эмоциональной дезадаптации по кардиоритмограмме Российский патент 2022 года по МПК A61B5/16 A61B5/205 G06N3/02 

Изобретение относится к области медицины, а именно к области психофизиологии, и может быть использовано для профилактики функциональных состояний утомления, нервозности, переутомления, агрессии, а также может быть использовано при комплексном лечении психических нарушений.

Из уровня техники известен способ дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека [RU 2711976 C1, опубл. 23.01.2020], в котором для распознавания психоэмоционального состояния используется индивидуальный динамический мониторинг мимики лица, движений и речи, при этом для определения мимических показателей, двигательной и речевой активности человеку предъявляют тестовый материал для воздействия на его рецепторное поле. По полученным данным определяют психоэмоциональное состояние человека в соответствии с системой кодирования лицевых движений, полученное мимическое изображение классифицируется системой искусственного интеллекта как аффективный компонент нарушения эмоций – по выраженности и длительности эмоциональных нарушений, определяемых как простая эмоция, настроение, аффект, по характеру эмоциональных нарушений - сниженное настроение, повышенное настроение, неустойчивая эмоциональная сфера, качественное искажение эмоций, по моторному компоненту аффективных нарушений – повышенная и сниженная двигательная активность, и идеаторному компоненту аффективных нарушений, определяемых по быстрой и медленной речи, и запоминается как база данных спектра эмоций индивидуального человека, после чего проводят дистанционный мониторинг в течение заданного времени с использованием искусственного интеллекта для постоянного сопоставления данных сокращения мимических мышц, двигательной и речевой активности со сформированной базой данных спектра эмоций человека, по полученным результатам выдаются рекомендации по возможности направления на коррекцию психофизиологического состояния. Коррекцию проводят посредством виртуальной реальности, вводящей человека в трансовое состояние, определяют форму коррекции как директивную или не директивную по индивидуальной программе, основанной на типе личности и преимущественной модальности восприятия информации - визуальной, аудиальной и кенестетической, при постоянном мониторинге энцефалографией, передающей данные искусственному интеллекту для определения эффективности коррекции. Изобретение обеспечивает возможность дистанционного распознавания негативного психоэмоционального состояния человека и своевременной коррекции его при помощи воздействия виртуальной реальности.

Недостатком аналога является определение психоэмоционального состояния человека в соответствии с системой кодирования лицевых движений без использования физиологических данных. Способ не позволяет регистрировать отрицательные эмоции.

Известны способ, электронное устройство и система идентификации эмоции [CN 107992199 (А), опубл. 04.05.2018], относящиеся к технической области образовательной электронной продукции, и раскрывает электронное оборудование и способ идентификации эмоций и систему для этого же. Способ позволяет с помощью передней камеры электронного оборудования, необходимой для регистрации выражения лица пользователя, и/или с помощью микрофонного оборудования, регистрирующего вокальные характеристики пользователя, данных частоты сердечных сокращений и кожно-гальванической реакции получать информацию об эмоциях пользователя.

Недостатком его является отсутствия возможности постоянного мониторинга, так как человек, испытывая эмоции, может молчать. Также метод не позволяет регистрировать отрицательные эмоции.

Известен способ распознавания эмоций на основе черт лица и голоса, 2018-02-16 [CN107705808 (А), опубл. 16.02.2018], реализуемый с помощью камеры, микрофона и блока обработки эмоций.

Недостатком метода является неиспользование кардиоритма для регистрации эмоций. Отрицательные эмоции не регистрируются. Метод основан исключительно на анализе лицевых движение и голоса пользователя.

Известен способ и устройство для вывода распознавания лицевых эмоций, система вывода лицевых эмоций, программная среда, в которой реализуется способ [KR20140022331 (A), опубл. 24.02.2014]. Система включает базу данных изображений множества людей, классифицированных по эмоциональными поведенческим признакам. Вышеуказанные признаки определяются на основе системы кодирования движений лица (FACS), а в системе кодирования движения лица поведенческие единицы соответствуют сочетанию мышц, связанных с изменениями внешнего вида лица или основным движением каждой мышцы. В зависимости от выявленного на лице артефакта (очки, волосы на лице, шрамы, пятна, морщины и т.п.) при определении эмоции оценке области лица с артефактом присваивается меньший вес.

Недостатком его является использование (анализ) только выражения лица и работы (движения) определённых лицевых мышц. Отсутствует также возможность постоянного мониторинга и хранение полученных данных.

Известен способ распознавания выражения лица [US 2018211102 (А1), опубл. 26.07.2018]. Изобретение предоставляет собой автоматический геометрический метод анализа и распознавания выражения лица человека на основе извлеченных признаков с использованием нейронной сети. Извлеченные особенности получены от извлеченного правого глаза, левого глаза и рта используя радиальные кривые и кубические кривые Безье. Выражения лица делятся на семь различных категорий эмоций: удивление, счастье, отвращение, нейтральность, страх, печаль и гнев. Метод использует алгоритм, который гибридизирует генетические алгоритмы (GA) и итерационный локальный поиск (ILS) с алгоритмом обратного распространения (BP), используемым для обучения нейронной сети. GA и ILS использованы для того, чтобы увеличить и оптимизировать начальные весы BP.

Недостатком метода является использование только лицевых выражений для регистрации базовых эмоций.

Известен способ распознавания эмоций, устройство, терминал и носитель информации [CN 107392124 (А), опубл. 24.11.2017]. Способ включает: получение текущего первого физиологического значения параметра пользователя терминала (например, выражение лица, полученное с помощью камеры), сопоставление текущего первого физиологического значения параметра с множеством (базой) заданных первых физиологических значений параметра и выбор лучшего совпадения; получение текущего второго физиологического значения параметра пользователя терминала (например, частоты дыхания пользователя и/или частоты сердечных сокращений, полученных анализом изображений камеры или инфракрасной камеры), сопоставление текущего второго физиологического значения параметра с множеством (базой) заданных вторых физиологических значений параметра и выбор лучшего совпадения. Окончательная эмоциональная модель определяется совместной обработкой первого и второго физиологического значения параметров пользователя терминала.

Недостатком способа является косвенное определение биоритмов человека в одних предпочтительных вариантах реализации изобретения и полное отсутствие анализа биоритмов человека в других вариантах реализации.

Наиболее близким к заявляемому изобретению является Способ непрерывного контроля уровня напряженного состояния человека [RU 2649519 C2, опубл. 22.09.2017]. Способ включает использование биометрического детектора в виде наручных часов или браслета, данные с которого используют для буферизации значений интервалов между соседними ударами сердца в течение заданного временного окна, а также для создания гистограммы распределения этих интервалов и вычисления уровня стресса, основанного на вариабельности сердечного ритма. Данные биометрического детектора передают проводным или беспроводным способом на мобильное приложение на базе платформы Android или iOS и исходя из данных графика гистограммы. По концентрации максимального количества интервалов Y между соседними сокращениями сердца в определенном диапазоне X мс определяют уровень стресса по формуле: уровень стресс = (Квозраст*(Y/размер плавающего окна))*К шкалы. Где Y - число интервалов между соседними ударами сердца с заданным отклонением друг о друга - 10, 20 или 50 мс. Квозраст – коэффициент, учитывающий поправку на возраст в диапазоне 0,7…1. Кшкалы - принимает два значения: 10 - для шкал на носимых устройствах и 1000 - для шкал на мобильных устройствах экспертных систем. Размер плавающего окна - 128, 256 или 512 отсчетов пульса. Полученное значение уровня стресса указывает на уровень напряженности нервной системы. На максимуме гистограммы распределения получают зону максимального количества интервалов Y между соседними интервалами сердца, которая служит показателем для выбора события, определяющего причину стресса. Регистрируют показатели интенсивности движений пользователя с помощью встроенного в биометрический детектор электрического акселерометра, причем физическую активность оценивают либо посредством измерения количества шагов, сделанных человеком в заданном интервале времени, либо посредством измерения амплитуды вектора ускорений части тела, к которому присоединен биометрический детектор, по трем осям, где амплитуду движений измеряют в процентах от - максимальной шкалы акселерометра. Затем по распределению полученных данных во времени делают выводы о суточной двигательной активности и образе жизни человека. Вычисленный уровень стресса связывают с физической активностью человека и его взаимодействием с окружающими людьми и объектами по данным, которые собирают автоматически путем сбора сведений из приложений, установленных на электронном устройстве пользователя. Причем по собранным сведениям делают вывод о том, что именно послужило источником изменения уровня стресса, и предлагают пользователю исключить указанный источник. Изобретение позволяет повысить надежность и безопасность работы, улучшение методов психоэмоционального самоконтроля человека, повышение качества и информативности при общении людей в социальных сетях и прямом общении.

Основной технической проблемой данного способа является измерение стресса, а не эмоционального состояния. Методика расчета стресса не подкреплена научными исследованиями.

Задачей изобретения является устранение недостатков прототипа.

Техническим результатом является автоматическая регистрация отрицательных эмоций человека по данным кардиоритмограммы.

Указанная задача решается способом регистрации эмоциональной дезадаптации по кардиоритмограмме, включающим использование биометрического детектора, данные с которого передают на мобильное приложение, в котором, согласно предложению, используют ранее предобученный нейросетевой алгоритм классификации данных кардиоритмограммы, при этом данные кардиоритмограммы, на которых происходит обучение алгоритма, получают от пользователей, которым предъявляются четыре группы словесных характеристик, отражающих различные эмоциональные состояния и степень их выраженности. Подробно способ оценки эмоционального состояния человека, используемый при снятии кардиоритмограммы, описан в патенте RU 2291720 C1 (опубл. 20.01.2007).

Таким образом, заявленный технический результат достигается благодаря тому, что:

• проводится оценка уровня дезадаптации по способу оценки эмоционального состояния человека, описанного в изобретении RU 2291720 C1;

• проводятся телеметрические измерения вариабельности сердечного ритма с использованием программно-аппаратного комплекса, состоящего из миниатюрного беспроводного датчика и смартфона со специализированным программным обеспечением,

• проводится анализ полученных данных нейросетевым алгоритмом

Изобретение поясняется графическими материалами.

На фигуре 1 показана схема системы регистрации отрицательных эмоций/дезадаптации по кардиоритмограмме.

На фигуре 2 показана методика определения уровня эмоциональной дезадаптации: а – вид бланка для тестирования; б – круговая шкала оценки уровня удовлетворенности по базовым потребностям.

На фигуре 3 показан пример исходных данных кардиоритмограммы. Примеры зависимостей величины RR-интервала от времени приведены ниже. Желтыми метками выделен интервал прохождения теста. Все данные разделены на 2 класса: 0 – эмоциональная дезадаптация отсутствует, 1 – эмоциональная дезадаптация присутствует. К классу 0 отнесены все записи, имеющие уровень эмоциональной дезадаптации (УЭД), равный 0, к классу 1 – записи, имеющие УЭД, равный 1, 2 и 3. (УЭД определяется как значение medium, округленное по правилам математического округления). Принадлежность к классу (class_name) отмечена на графике.

На фигуре 4 показан результат классификации тестовой выборки.

Схема системы регистрации отрицательных эмоций/дезадаптации по кардиоритмограмме приведена на фигуре 1. При измерениях динамики психофизиологической системы реализована схема параллельного контроля параметров вегетативной регуляции по показателям вариабельности сердечного ритма (ВСР) и тестирования по методике определения уровня эмоциональной дезадаптации (УЭД) (См. описание к патенту RU2291720C1). Для оценки УЭД участнику тестирования предлагается указать зону своего текущего состояния в круговом пространстве состояний (фигура 2а). Границы пространства определены в четырех точках пересечения диагоналей с окружностью. В качестве границ заданы наборы синонимичных прилагательных, описывающих эмоции в соответствии с модальностью (положительные/отрицательные) и уровнем активности (напряжение/расслабление) по отношению к четырем базисным личностным потребностям: а) в безопасности; б) в независимости; в) в достижении; г) в единении (близости). В зависимости от положения указанной зоны определяется количество набранных человеком баллов для каждой потребности (фигура 2б). По среднему баллу судят о степени эмоциональной дезадаптации следующим образом:

0 баллов – отсутствие эмоциональной дезадаптации (физиологическая релаксация);

1 балл – слабо выраженная эмоциональная дезадаптация (физиологическое напряжение);

2 – умеренно выраженная эмоциональная дезадаптация (патологическое напряжение);

3 – резко выраженная эмоциональная дезадаптация (патологическая релаксация).

Телеметрические измерения ВСР выполняются с использованием разработанного программно-аппаратного комплекса, состоящего из миниатюрного беспроводного датчика ЭКГ и смартфона со специализированным программным обеспечением. Конструкция датчика ЭКГ обеспечивает надежную фиксацию его на теле человека, электроды располагаются в I и II грудных отведениях. Пример получаемых данных приведен на фигуре 3.

Пакетная передача данных от датчика к мобильному устройству производится по беспроводному протоколу Bluetooth. Реализация связи, передачи и сохранения данных осуществляется на мобильном устройстве с помощью оригинального программного обеспечения «HR-Reader».

Программная среда HR-Reader обеспечивает:

1. on-line визуализацию регистрируемой динамики.

2. R–R-интервалов для контроля записи.

На основе полученных данных строится нейросетевой алгоритм классификации, позволяющий определять по кардиортимограмме дезадаптацию.

Алгоритм классификации:

1. Запись динамики RR-интервалов испытуемого, для которого необходимо определить наличие или отсутствие эмоциональной дезадаптации, разбивается на части по 100 отсчетов, начиная с конца записи. Остаток записи, содержащий меньше 100 отсчетов, отбрасывается.

2. Стандартизация данных.

3. Классификация каждой части записи по отдельности.

4. Вычисляется среднее значение решений классификатора для частей записи.

5. Решение о принадлежности всей записи тому или иному классу определяется на основании округленного по правилам математического округления значения, полученного на шаге 4.

Пример простейшей реализации

При измерениях динамики психофизиологической системы реализована схема параллельного контроля параметров вегетативной регуляции по показателям вариабельности сердечного ритма (ВСР) и тестирования по методике определения уровня эмоциональной дезадаптации (УЭД). Телеметрические измерения ВСР выполняли с использованием разработанного программно-аппаратного комплекса, состоящего из миниатюрного беспроводного датчика ЭКГ (HxM; Zephyr Technology, США) и смартфона со специализированным программным обеспечением. Пакетная передача данных от датчика к мобильному устройству производится по беспроводному протоколу Bluetooth. Реализация связи, передачи и сохранения данных осуществляется на мобильном устройстве с помощью оригинального программного обеспечения «HR-Reader».

Данные кардиоритмограммы при прохождении теста имели следующее описание:

rr_filter.csv – зависимость величины RR-интервала (RR_filter) от времени (ms) в течение 5 минут до прохождения теста на определение уровня эмоциональной дезадаптации + время прохождения теста.

info.csv – время начала записи (time), идентификатор записи (session_id), идентификатор испытуемого (person_id), возраст (old) и пол испытуемого (gender).

uad.csv – временные метки начала (ms_begin) и окончания (ms_end) прохождения теста (в миллисекундах от времени начала записи), результат прохождения теста – различные степени удовлетворения следующих четырех базисных личностных потребностей: в безопасности, в независимости, в достижении, в единении-близости (U1; U2; U3; U4), субъективный уровень эмоциональной дезадаптации (UAD), среднее значение степени удовлетворения четырех базисных личностных потребностей (medium).

На фигуре 3 приведены примеры зависимостей величины RR-интервала от времени приведены ниже. Желтыми метками выделен интервал прохождения теста. Все данные разделены на 2 класса: 0 – эмоциональная дезадаптация отсутствует, 1 – эмоциональная дезадаптация присутствует. К классу 0 отнесены все записи, имеющие уровень эмоциональной дезадаптации (УЭД), равный 0, к классу 1 – записи, имеющие УЭД, равный 1, 2 и 3. (УЭД определяется как значение medium, округленное по правилам математического округления). Принадлежность к классу (class_name) отмечена на графике. Объем исходной выборки составил 1632 записи.

Результаты классификации тестовой выборки показаны на фигуре 4.

Для конкретного пользователя: данные (кардиоритмограмма) передаются в смартфон по Bluetooth, мобильное приложение, которое обрабатывает эти данные, реализует алгоритм классификации, описанный выше, а именно:

1. Кардиоритмограмма разбивается на части по 100 отсчетов, начиная с конца записи. Остаток записи, содержащий меньше 100 отсчетов, отбрасывается.

2. Данные приводятся к стандартному виду.

3. Классификация каждой части записи проводится по отдельности, причем в качестве результата классификации алгоритм будет выдавать значение вероятности принадлежности к каждому из классов.

4. Вычисляется среднее значение вероятности принадлежности к каждому из классов для частей записи.

5. Решение о наличии или отсутствии у человека эмоциональной дезадаптации можно отображать графически на цветовой шкале, имеющей значения от 0% (вероятность эмоциональной дезадаптации = 0%) до 100% (вероятность эмоциональной дезадаптации = 100%). Уровнем эмоциональной дезадаптации, отображаемым на данной шкале, будет значение вероятности принадлежности записи к классу 1, вычисленное на шаге 4.

Например, если значения вероятностей, вычисленные на шаге 4, составляют 20% для класса 0 и 80% для класса 1, то на цветовой шкале следует отложить значение 80, что будет означать достаточно высокий уровень эмоциональной дезадаптации.

Изобретение относится к медицине, а именно к способу регистрации эмоциональной дезадаптации по кардиоритмограмме. При исполнении способа используют датчик ЭКГ. Передают данные с датчика на мобильное приложение. При этом используют ранее предобученный нейросетевой алгоритм классификации данных кардиоритмограммы, а именно классификации последовательности RR интервалов по меткам уровня дезадаптации на основе данных, сформированных при прохождении опросника с параллельной регистрацией электрокардиограммы и извлечения из нее последовательности RR интервалов сердечного ритма. Данные кардиоритмограммы, на которых происходит обучение алгоритма, получают от пользователей, которым предъявляются четыре группы словесных характеристик. Характеристики описывают эмоции в соответствии с модальностью и уровнем активности по отношению к четырем базисным личностным потребностям, а именно: в безопасности, в независимости, в достижении, в единении. За счет измерения вариабельности сердечного ритма и анализа полученных данных нейросетевым алгоритмом обеспечивается автоматическая регистрация отрицательных эмоций человека по данным кардиоритмограммы с помощью предобученного алгоритма классификации RR интервалов по меткам уровня дезадаптации на основе базы данных большого количества уникальных записей пользователей, при этом маркеры эмоциональной дезадаптации не требуют калибровки под конкретного пользователя. 4 ил.

Способ регистрации эмоциональной дезадаптации по кардиоритмограмме, включающий использование датчика ЭКГ, данные с которого передают на мобильное приложение, отличающийся тем, что используют ранее предобученный нейросетевой алгоритм классификации данных кардиоритмограммы, а именно классификации последовательности RR интервалов по меткам уровня дезадаптации на основе данных, сформированных при прохождении опросника с параллельной регистрацией электрокардиограммы и извлечения из нее последовательности RR интервалов сердечного ритма, при этом данные кардиоритмограммы, на которых происходит обучение алгоритма, получают от пользователей, которым предъявляются четыре группы словесных характеристик, описывающих эмоции в соответствии с модальностью и уровнем активности по отношению к четырем базисным личностным потребностям, а именно: в безопасности, в независимости, в достижении, в единении.