Способ определения влияния информационных факторов виртуальной среды на эмоциональное состояние человека по данным кардиоритмограммы Российский патент 2025 года по МПК A61B5/16 A61B5/352 G06N3/02 G06F111/18 

Изобретение относится к области медицины, а именно к области психофизиологии, и может быть использовано для определения стрессогенности информационных факторов виртуальной среды.

Из уровня техники известна группа изобретений (RU 2774274 «Устройство, система и способ определения эмоционального состояния пользователя», МПК А61В 5/16, А61В 5/053, публ. 30.06.2021 г.), которая относится к медицине, а именно к устройству, системе и способу определения эмоционального состояния пользователя на основе оценки вызванного эмоцией уровня кортизола. Устройство содержит интерфейс, блок обработки. Интерфейс предназначен для получения кривой психофизиологического сигнала. Кривая указывает на измеренную реакцию на стимулы, соответствующие нервной стрессовой реакции. Блок обработки предназначен для обработки кривой психофизиологического сигнала. Система содержит датчик для измерения психофизиологического сигнала и устройство определения эмоционального состояния пользователя. Датчик указывает на измеренную реакцию на стимулы, соответствующие нервной стрессовой реакции пользователя. При исполнении способа получают кривую психофизиологического сигнала, указывающую на измеренную реакцию на стимулы, соответствующие нервной стрессовой реакции. Недостатком известной группы изобретений является возможность регистрировать только эмоциональное состояние человека, соответствующее нервной стрессовой реакции.

Известен «Способ дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека» (RU 2711976, МПК А61В 5/16, публ. 23.01.2020 г.), в котором для распознавания психоэмоционального состояния используется индивидуальный динамический мониторинг мимики лица, движений и речи, при этом для определения мимических показателей, двигательной и речевой активности человеку предъявляют тестовый материал для воздействия на его рецепторное поле. По полученным данным определяют психоэмоциональное состояние человека в соответствии с системой кодирования лицевых движений, полученное мимическое изображение классифицируется системой искусственного интеллекта как аффективный компонент нарушения эмоций - по выраженности и длительности эмоциональных нарушений, определяемых как простая эмоция, настроение, аффект; по характеру эмоциональных нарушений - сниженное настроение, повышенное настроение, неустойчивая эмоциональная сфера, качественное искажение эмоций; по моторному компоненту аффективных нарушений повышенная и сниженная двигательная активность; и идеаторному компоненту аффективных нарушений, определяемых по быстрой и медленной речи, и запоминается как база данных спектра эмоций индивидуального человека. После чего проводят дистанционный мониторинг в течение заданного времени с использованием искусственного интеллекта для постоянного сопоставления данных сокращения мимических мышц, двигательной и речевой активности со сформированной базой данных спектра эмоций человека, по полученным результатам выдаются рекомендации по возможности направления на коррекцию психофизиологического состояния. Коррекцию проводят посредством виртуальной реальности, вводящей человека в трансовое состояние, определяют форму коррекции как директивную или не директивную по индивидуальной программе, основанной на типе личности и преимущественной модальности восприятия информации - визуальной, аудиальной и кенестетической, при постоянном мониторинге энцефалографией, передающей данные искусственному интеллекту для определения эффективности коррекции. Изобретение обеспечивает возможность дистанционного распознавания негативного психоэмоционального состояния человека и своевременной коррекции его при помощи воздействия виртуальной реальности. Недостатком описанного аналога является определение психоэмоционального состояния человека в соответствии с системой кодирования лицевых движений без использования физиологических данных, например, данных ЭКГ при влиянии информационных факторов виртуальной среды.

Известны способ, электронное устройство и система идентификации эмоции (CN 107992199 «Electronic equipment and emotion identification method and system for same», МПК G06F 3/01, публ. 04.05.2018 г.). Способ позволяет с помощью передней камеры электронного оборудования, микрофонного оборудования, данных частоты сердечных сокращений и кожно-гальванической реакции получать информацию об эмоциях пользователя. Недостатком способа является неиспользование для анализа эмоций данных кардиоритмограмм, в том числе при влиянии информационных факторов виртуальной среды.

Известен способ распознавания эмоций на основе черт лица и голоса (CN 107705808 «Emotion recognition method based on facial features and voice features», МПК G06K 9/00, G10L 25/63, публ. 25.12.2020 г.), реализуемый с помощью камеры, микрофона и блока обработки эмоций. Недостатком метода является то, что он основан исключительно на анализе лицевых движений и голоса пользователя и не использует регистрацию кардиоритма.

Известен способ и устройство для определения эмоций на лице пользователя (KR 101939772 «Method and apparatus for inferring facial emotion recognition system for inferring facial emotion and media for recording computer program», МПК G06K 9/46, G06T 7/00, публ. 17.01.2019 г.). Система включает базу данных изображений множества людей, классифицированных по эмоциональным и поведенческим признакам. Вышеуказанные признаки определяются на основе системы кодирования движений лица (FACS), а в системе кодирования движения лица поведенческие единицы соответствуют сочетанию мышц, связанных с изменениями внешнего вида лица или основным движением каждой мышцы. Недостатком является использование (анализ) только выражения лица и работы (движения) определенных лицевых мышц, а также отсутствие использования данных ЭКГ, в том числе при влиянии информационных факторов виртуальной среды. Отсутствует также возможность постоянного мониторинга и хранение полученных данных.

Известен способ распознавания выражения лица (US 10417483 «Facial expression recognition)), МПК G06N 3/08, G06N 3/12, G06V 30/194, публ. 17.09.2019 г.). Изобретение представляет собой автоматический геометрический метод анализа и распознавания выражения лица человека на основе извлеченных признаков с использованием нейронной сети. Выражения лица делятся на семь различных категорий эмоций: удивление, счастье, отвращение, нейтральность, страх, печаль и гнев. Метод использует алгоритм, который гибридизирует генетические алгоритмы и итерационный локальный поиск с алгоритмом обратного распространения, используемым для обучения нейронной сети. Недостатком метода является использование только лицевых выражений для регистрации базовых эмоций, а также отсутствие использования данных ЭКГ, в том числе при влиянии информационных факторов виртуальной среды.

Наиболее близким к заявляемому изобретению является «Способ непрерывного контроля уровня напряженного состояния человека» (RU 2649519, МПК А61В 5/024, А61В 5/11, публ. 22.09.2017 г.). Способ включает использование биометрического детектора в виде наручных часов или браслета, данные с которого используют для буферизации значений интервалов между соседними ударами сердца в течение заданного временного окна, а также для создания гистограммы распределения этих интервалов и вычисления уровня стресса. Данные биометрического детектора передают проводным или беспроводным способом на мобильное приложение и накапливают в течение определенного времени. Затем по распределению полученных данных во времени делают выводы о суточной двигательной активности и образе жизни человека. Вычисленный уровень стресса связывают с физической активностью человека и его взаимодействием с окружающими людьми и объектами по данным, которые собирают автоматически путем сбора сведений из приложений, установленных на электронном устройстве пользователя. Причем по собранным сведениям делают вывод о том, что именно послужило источником изменения уровня стресса, и предлагают пользователю исключить указанный источник. Изобретение позволяет повысить надежность и безопасность работы, улучшение методов психоэмоционального самоконтроля человека, повышение качества и информативности при общении людей в социальных сетях и прямом общении. Недостатком данного способа является измерение только уровня стресса пользователя, а не его эмоционального состояния.

Задачей, на решение которой направлено предлагаемое изобретение, является разработка способа определения влияния информационных факторов виртуальной среды на эмоциональное состояние человека по данным кардиоритмограммы.

Технический результат достигается за счет того, что разработанный способ определения эмоционального состояния человека так же, как и способ-прототип включает измерение значений интервалов между соседними ударами сердца, передачу и накопление этих данных в устройстве обработки и хранения, выявление источника, влияющего на эмоциональное состояние человека. Новым в разработанном способе является то, что воздействуют на человека информационными факторами виртуальной среды, для чего используют программно-аппаратный комплекс, состоящий из очков виртуальной реальности, датчика, с помощью которого измеряют R-R интервалы сердца, и компьютера со специализированным программным обеспечением. Анализируют полученные данные с помощью предобученного нейросетевого алгоритма, который заранее обучают с помощью данных кардиоритмограмм, полученных от пользователей, которым были предъявлены сюжеты виртуальной реальности с контролем эмоционального состояния по методике SAM. При этом делают вывод об эмоциональном состоянии человека после предъявленных информационных факторов виртуальной среды, классифицируя его как соответствующее негативным эмоциям, нейтральным эмоциям или позитивным эмоциям.

В частном случае реализации предлагаемого способа в качестве специализированного программного обеспечения используют программное обеспечение «Стресс-Монитор».

Разработанный способ поясняется следующими фигурами.

На фиг. 1 показана схема этапа обучения нейросетевого алгоритма.

На фиг. 2 показан пример записанных данных R-R интервалов, используемых для дальнейшего анализа.

На фиг. 3 приведен пример анкеты-опросника по кардиоактивным факторам образа жизни.

На фиг. 4 приведен пример анкеты-опросника для определения индивидуального аффективного профиля (ИАП).

На фиг. 5 показана схема разработанного способа.

Разработанный способ осуществляют следующим образом.

Вначале происходит обучение нейросетевого алгоритма, при этом кардиоритмограммы получают от испытуемых, которым предъявляются сюжеты виртуальной реальности с контролем эмоционального состояния по методике SAM, описывающей три признака: 1 - валентность, 2 - активность, 3 - уровень контроля. SAM (Self-Assessment Manikin) - это невербальный графический опросник, который напрямую измеряет аффект и чувства человека в ответ на воздействие объекта или события, например изображения. Существует база данных изображений (IAPS - International Affective Picture System), содержащая стандартизированный набор изображений для изучения эмоций и внимания, которая широко используется в психологических исследованиях.

Схема этапа обучения нейросетевого алгоритма показана на фиг. 1. Измеряется кардиоритмограмма беспроводным датчиком, и с помощью программного обеспечения выделяются R-R интервалы (1). На фиг. 2 показан пример записанных данных R-R интервалов, используемых для дальнейшего анализа. Пакетная передача данных от датчика к мобильному устройству производится, например, по беспроводному протоколу Bluetooth. Реализация связи, передачи и сохранения данных осуществляется на мобильном устройстве, в частном случае (по п. 2 ф-лы), с помощью оригинального программного обеспечения «Стресс-Монитор».

Параллельно с записью R-R интервалов испытуемый проходит (2 мин) анкету-опросник по кардиоактивным факторам образа жизни. Пример опросника показан на фиг. 3. Также пользователь проходит анкету-опросник для определения индивидуального аффективного профиля (ИАП): предлагается указать валентность эмоций, связанных с аффективными ситуациями (2 мин) (2), где валентность - это степень притяжения или отвращения, которое человек испытывает к определенному объекту или событию. Пример опросника показан на фиг. 4. Проводится фоновая запись R-R интервалов стоя (3 мин.).

Далее проводится регистрация эмоционального образа для пяти картинок из аффективной базы стимулов IAPS по методике SAM (5 мин.) для обучения формализованному описанию эмоций по трем признакам: 1 - валентность, 2 - активность, 3 - уровень контроля.

Шкалы SAM

1 - валентность характеризует, какие были эмоции: от негативных к позитивным, центральное нейтральные;

2 - степень активации: от спящего, сильно релаксирующего к активированному, возбужденному, центральное - нейтральное;

3 - удавалось ли вам сохранять контроль: от не удавалось к удавалось, центральное нейтральное.

Далее пользователю предъявляются сюжеты виртуальной реальности через очки (3). После каждого сюжета, продолжая записывать R-R интервалы, пользователь проходит опрос по методике SAM. Далее производится фоновая запись (2 мин.). Таким образом происходит накопление базы данных R-R интервалов с метками эмоционального состояния человека (4). По размеченной базе данных производится обучение нейросетевого алгоритма классифицировать данные КРГ (5).

База данных кардиоритмограмм, на которых происходит обучение алгоритма, включает в себя кардиоритмограммы, связанные с положительными и отрицательными эмоциями при воздействии информационных факторов виртуальной среды, а также связанных с отсутствием эмоциональных реакций на информационные факторы виртуальной среды. Все кардиоритмограммы получены методом событийно-связанной телеметрии сердца.

Используя нейросетевой алгоритм, предобученный по вышеописанной схеме, проводят телеметрические измерения кардиоритмограмм сердца с использованием программно-аппаратного комплекса, состоящего из очков виртуальной реальности, миниатюрного беспроводного датчика и планшета со специализированным программным обеспечением. Затем анализируют полученные данные.

Автоматизированное определение эмоционального состояния человека по данным кардиоритмограммы при предъявлении сюжетов виртуальной реальности (фиг. 5) осуществляется следующим образом: производится запись R-R интервалов испытуемого (6), параллельно подается информационный стимул (сюжет) в очки виртуальной реальности (7) и полученные данные анализируются предобученным нейросетевым алгоритмом (8) для определения эмоционального состояния человека (9).

Пример реализации способа.

Телеметрические измерения ритмограмм сердца выполняли с использованием разработанного программно-аппаратного комплекса, состоящего из миниатюрного беспроводного датчика ЭКГ (НхМ; Zephyr Technology, США), планшета на базе операционной системы Android со специализированным программным обеспечением «Стресс-Монитор» и очков виртуальной реальности. Пакетная передача данных от датчика к мобильному устройству производится по беспроводному протоколу Bluetooth. Реализация связи, передачи и сохранения данных осуществляется на мобильном устройстве с помощью оригинального программного обеспечения «Стресс-Монитор».

Испытуемому предъявлялись сюжеты виртуальной реальности и проводились опросы по методике SAM следующей последовательности:

1. VR сюжет набережная Федоровского (2 мин);

2. SAM;

3. VR сюжет Хофбург, Вена (2 мин);

4. SAM;

5. VR сюжет в соответствии с указанной фобией (фиг. 4) в опроснике (2 мин);

6. SAM;

7. VR сюжет Roller coaster (4 мин);

8. SAM.

Полученные данные КРГ анализировались ранее предобученным нейросетевым алгоритмом, классифицирующим данные КРГ на три группы: положительные эмоции, отрицательные эмоции и связанные с отсутствием эмоциональных реакций на информационные факторы виртуальной среды.

Таким образом, разработан способ определения влияния информационных факторов виртуальной среды на эмоциональное состояние человека по данным кардиоритмограмм. Используется нейросетевой алгоритм, обучение которого происходит на базе данных кардиоритмограмм, связанных с положительными, отрицательными эмоциями при воздействии информационных факторов виртуальной среды, а также связанных с отсутствием эмоциональных реакций на информационные факторы виртуальной среды.

Приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего технического решения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего технического решения, согласующиеся с сущностью и объемом настоящего технического решения.

Изобретение относится к области медицины, а именно к области психофизиологии, и может быть использовано для определения стрессогенности информационных факторов виртуальной среды. Предложен способ, в котором используется нейросетевой алгоритм классификации данных кардиоритмограммы. База данных кардиоритмограмм, на которых происходит обучение алгоритма, включает в себя кардиоритмограммы, связанные с положительными, отрицательными эмоциями при воздействии информационных факторов виртуальной среды, а также связанные с отсутствием эмоциональных реакций на информационные факторы виртуальной среды. Все кардиоритмограммы получены методом событийно-связанной телеметрии сердца. Анализ влияния информационных факторов виртуальной среды на эмоциональное состояние человека по данным кардиоритмограммы включает: телеметрические измерения ритмограмм сердца с использованием программно-аппаратного комплекса, состоящего из очков виртуальной реальности, миниатюрного беспроводного датчика и планшета со специализированным программным обеспечением, анализом полученных данных с помощью предобученного нейросетевого алгоритма. Изобретение обеспечивает автоматическую регистрацию эмоционального состояния человека по кардиоритмограмме при влиянии информационных факторов виртуальной среды. 1 з.п. ф-лы, 5 ил.

1. Способ определения эмоционального состояния человека, включающий измерение значений интервалов между соседними ударами сердца, передачу и накопление этих данных в устройстве обработки и хранения, выявление источника, влияющего на эмоциональное состояние человека, отличающийся тем, что воздействуют на человека информационными факторами виртуальной среды, для чего используют программно-аппаратный комплекс, состоящий из очков виртуальной реальности, датчика, с помощью которого измеряют R-R интервалы сердца, и компьютера со специализированным программным обеспечением, анализируют полученные данные с помощью предобученного нейросетевого алгоритма, который заранее обучают с помощью данных кардиоритмограмм, полученных от пользователей, которым были предъявлены сюжеты виртуальной реальности с контролем эмоционального состояния по методике SAM, при этом делают вывод об эмоциональном состоянии человека после предъявленных информационных факторов виртуальной среды, классифицируя его как соответствующее негативным эмоциям, нейтральным эмоциям или позитивным эмоциям.

2. Способ определения эмоционального состояния человека по п.1, отличающийся тем, что в качестве специализированного программного обеспечения используют программное обеспечение «Стресс-Монитор».