СПОСОБ ОЦЕНКИ ПОКАЗАТЕЛЯ ВОВЛЕЧЕННОСТИ ПОЛЬЗОВАТЕЛЯ Российский патент 2025 года по МПК G06V40/16 

Описание патента на изобретение RU2837315C1

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности, к способу оценки показателя вовлеченности пользователя.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известен американский патент US 11290686 B2 (патентообладатель PETERS MICHAEL H [US], опубл. 29.03.2022). В данном решении описано конечное устройство захвата видеоданных во время сеанса связи по сети. Конечное устройство обрабатывает поток данных о состоянии пользователя, указывающих атрибуты пользователя конечного устройства, в разное время во время сеанса связи по сети. Конечное устройство передает поток данных о состоянии пользователя по сети связи в серверную систему. Конечное устройство получает по сети связи (i) контент сетевого сеанса связи и (ii) дополнительный контент на основе данных о состоянии пользователя, сгенерированных соответствующими конечными устройствами, каждое из которых обрабатывает видеоданные, которые соответствуют конечным устройствам захвата вовремя сеанс связи по сети. Конечное устройство представляет пользовательский интерфейс, обеспечивающий принятый контент сеанса сетевой связи одновременно с принятым дополнительным контентом, который основан на данных о состоянии пользователя, сгенерированных соответствующими конечными устройствами.

Из уровня техники известен патент CN 108399376 B (патентообладатель Central China Normal University [CN], опубл. 06.11.2020). В данном решении описан способ интеллектуального анализа интереса учащихся к обучению в классе и характеризуется тем, что он включает следующие этапы: получение изображения сцены в классе и позиционирование человеческого лица в изображении сцены; оценку положения головы в области лица и оценку степени когнитивной концентрации внимания обучающегося по положению головы; оценка мимики в области лица и оценка обучающей эмоции обучающегося по выражению лица; регистрация частоты и точности интерактивных ответов учащихся в классе и оценка участия учащихся по частоте и точности ответов; трехмерная информация о когнитивном внимании, обучающих эмоциях и участии учащихся в классе объединяется, а также анализируется учебный интерес учащихся. Изобретение также предлагает систему для реализации способа.

Общим недостатком существующих решений в данной области является их ограниченная функциональность, поскольку отсутствует комплексный подход, позволяющий проводить многосторонний анализ оценки показателя вовлеченности пользователя.

Предлагаемое техническое решение направлено на устранение недостатков современного уровня техники и отличается от известных решений тем, что предложенное решение позволяет наиболее точно в режиме реального времени отслеживать и анализировать уровень показателя вовлеченности пользователей в процесс.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание способа оценки показателя вовлеченности пользователей для проведения вебинаров, онлайн-встреч и обучения, чтоб сделать их максимально эффективными.

Технический результат заключается в повышении точности определения оценки вовлеченности пользователя.

Заявленный технический результат достигается за счет реализации способа оценки показателя вовлеченности пользователя, содержащего этапы, на которых:

- получают видеопоток с видеокамеры в режиме реального времени;

- извлекают посредством вычислительного устройства кадры из видеопотока;

- осуществляют обработку каждого извлеченного кадра с помощью модели машинного обучения на базе нейронной сети (НС), причем в ходе указанной обработки осуществляют извлечение ключевых точек зрачков и скул в виде 2D координат,

после чего на обработанном кадре с помощью вычислительного устройства:

• преобразовывают извлеченные 2D координаты в 3D вектора и определяют изменение положения этих 3D векторов для определения направления поворота головы, по отношению к устройству отображения информации;

• осуществляют вычисление евклидовых расстояний между точками и углов между векторами для определения размеров зрачков и направления взгляда;

• измеряют время, в течение которого взгляд пользователя устойчиво фокусируется на устройстве отображения информации, если пользователь смотрит на устройство отображения информации, время увеличивается, а при отвлечении оно сбрасывается и начинается отсчет заново;

• измеряют количество изменений выражений лица пользователя за измеряемый период для определения эмоциональной вовлеченности;

• определяют интенсивность изменений мимики, когда пользователь смотрит на устройство отображения информации, для определения реакции;

• на основе полученных данных осуществляют расчет показателя вовлеченности пользователя путем:

- нормализации каждой переменной, чтобы их значения были в одном диапазоне,

- вычисляют взвешенную сумму нормализованных значений продолжительности фокусировки взгляда, произведения частоты изменений мимики и интенсивности изменений мимики, а также пространственных изменений положения головы,

- делят полученную сумму на количество параметров для получения среднего значения, умножают результат на 100 для перевода его в процентное выражение, итоговое значение оценки вовлеченности определяется как средневзвешенное значение нормализованных параметров, умноженное на 100 и ограниченное диапазоном от 0 до 100.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Настоящее техническое решение позволяет наиболее точно в режиме реального времени отслеживать и анализировать уровень показателя вовлеченности пользователей во время видеоконференцсвязи для проведения вебинаров и онлайн-встреч c аналитикой реакции участников в режиме реального времени. Во время онлайн мероприятия рассчитывается индекс вовлеченности пользователя, что позволяет спикеру сразу определить интерес к транслируемому контенту.

Кроме того, заявленное изобретение может быть эффективно задействовано во многих сферах. В частности, заявленный объект техники может быть задействован в корпоративном секторе: Оценка вовлеченности кандидата во время собеседования; Коммуникации и совещания; Оптимизация онлайн-совещаний; Повышение эффективности командной работы; Анализ вовлеченности участников; Мониторинг когнитивных и поведенческих индексов.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области HR: Подбор персонала; Анализ кандидатов; Оценка вовлеченности сотрудников; Выявление паттернов выгорания; Сокращение времени и улучшение качества найма.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области обучения и развития персонала: Анализ эффективности тренингов и обучения; Персонализация программ обучения; Мониторинг прогресса и вовлеченности сотрудников.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области маркетинга и исследований: Анализ реакций на маркетинговые материалы; Проведение фокус-групп и опросов; Исследование потребительского поведения.

В частности, заявленный объект техники может быть задействован в образовательном секторе: Школы и университеты; Мониторинг внимания и вовлеченности студентов; Повышение качества онлайн/оффлайн обучения; Персонализация образовательного процесса; Анализ эффективности преподавательских методов.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области профессиональной ориентации: Оценка заинтересованности и мотивации учеников; Поддержка в выборе профессии; Мониторинг прогресса в специализированных IT-классах; Развитие метапредметных навыков.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области дополнительного образования: оптимизация онлайн-курсов; персонализация контента для учащихся; мониторинг вовлеченности и успеваемости.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области научных исследований: Проведение экспериментов по изучению поведения и когнитивных реакций; Анализ данных для разработки новых образовательных методик.

В частности, заявленный объект техники может быть задействован в секторе государственных учреждений: Проекты цифровизации образования; Внедрение технологий в школы и университеты; Поддержка государственных программ по цифровизации; Анализ и оптимизация образовательных процессов.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области социальных программ: Поддержка программ профессиональной ориентации; Мониторинг эффективности социальных инициатив; Анализ вовлеченности и реакции участников социальных программ.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области здравоохранения: Мониторинг состояния пациентов на онлайн-консультациях; Анализ поведенческих индексов для выявления признаков стресса и усталости; Поддержка программ профилактики выгорания.

В частности, заявленный объект техники может быть задействован в секторе бизнес-аналитики и консалтинга: Анализ деловых встреч; Оценка продуктивности совещаний: Анализ поведенческих индексов для улучшения корпоративной культуры; Выявление неэффективных практик и их оптимизация.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области консалтинг по управлению: Рекомендации по улучшению коммуникаций; Анализ данных для принятия обоснованных решений; Разработка стратегий повышения эффективности работы команд.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области исследований рынка: Анализ потребительских предпочтений; Оценка эффективности рекламных кампаний; Исследование поведения клиентов.

В частности, заявленный объект техники может быть задействован в финансовом секторе: Банковские услуги; Мониторинг качества обслуживания клиентов; Анализ поведения клиентов на онлайн-платформах; Оценка вовлеченности сотрудников в процесс обслуживания.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области страхования: Оценка рисков на основе поведенческих индексов; Мониторинг состояния клиентов для оценки уровня стресса и рисков; Анализ эффективности взаимодействия с клиентами.

В частности, заявленный объект техники может быть задействован в производственном секторе: Управление производством; Мониторинг внимания и вовлеченности сотрудников на производственной линии; Оценка эффективности обучения сотрудников; Выявление паттернов усталости и снижение рисков аварий.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области проверки качества продукции: Анализ реакций операторов на производственные процессы; Мониторинг качества продукции в реальном времени; Оптимизация процессов на основе поведенческих данных сотрудников.

Таким образом, настоящее изобретение применимо во многих сферах промышленности и позволяет качественно, эффективно и точно осуществлять расчет оценки показателя вовлеченности пользователя в процесс.

Для реализации заявленного способа оценки показателя вовлеченности пользователя необходимо, по меньшей мере, устройство видео захвата, а также вычислительное оборудование, способное осуществлять необходимую обработку данных и система разметки геометрии лица.

В предпочтительном варианте реализации устройство видео захвата должно обеспечивать:

• Разрешение видео: разрешение от HD и более, чтобы детально фиксировать мельчайшие изменения в выражениях лица, что необходимо для точной оценки внимательности.

• Частоту кадров: частота кадров не менее 10 кадров в секунду для обеспечения плавности видео и возможности зафиксировать быстрые изменения в выражении лица пользователя.

• Совместимость с системами обработки изображений и анализа данных для немедленной обработки получаемой информации.

В предпочтительном варианте реализации, при осуществлении разметки геометрии лица используются:

• Методы обнаружения ключевых точек: Применение алгоритмов машинного обучения или глубокого обучения для точного и быстрого определения ключевых точек лица, таких как зрачки и скулы.

• Точность позиционирования: Высокая точность в определении местоположения ключевых точек в пространстве, что необходимо для точного расчета диаметров зрачков и углов поворота головы.

• Адаптивность к различным условиям освещения: Способность корректно функционировать в разнообразных условиях освещения, что важно для использования в различных реальных сценариях.

В предпочтительном варианте реализации, при осуществлении определения вовлеченности пользователя используются следующие технологии:

• Преобразование координат: Алгоритмы для преобразования 2D координат в 3D векторы, что позволяет точнее анализировать изменения в положении ключевых точек;

• Вычисление расстояний и углов: Эффективные методы для вычисления евклидовых расстояний между точками и углов между векторами, что критично для определения размеров зрачков и направления взгляда.

Индекс вовлеченности (Involvement) определяется на основе наблюдения за движениями головы и выражением лица пользователя, что позволяет точно определить насколько внимательно и вовлеченно пользователи следят за контентом.

На первом этапе работы заявленного решения получают видеопоток с видеокамеры в режиме реального времени и извлекают посредством вычислительного устройства кадры из видеопотока. После чего осуществляют обработку каждого извлеченного кадра с помощью модели машинного обучения на базе нейронной сети (НС), причем в ходе указанной обработки осуществляют извлечение ключевых точек зрачков и скул в виде 2D координат.

Далее на обработанном кадре с помощью вычислительного устройства преобразовывают извлеченные 2D координаты в 3D вектора и определяют изменение положения этих 3D векторов для определения направления поворота головы, по отношению к устройству отображения информации и, осуществляют вычисление евклидовых расстояний между точками и углов между векторами для определения размеров зрачков и направления взгляда.

Для расчета используются следующие ключевые точки: 471, 469, 476, 474, 123 и 352. Эти точки представляют ширину двух зрачков (471, 469, 476, 474) и положение двух скул человека в пространстве (123 и 352). Извлеченные ключевые точки преобразуются в 3D-векторы и масштабируются в соответствии с коэффициентом масштабирования.

Коэффициент масштабирования рассчитывается как отношение текущей высоты головы к начальной высоте головы. Он используется для корректировки извлеченных ключевых точек на основе изменений размера головы.

В одном из вариантов реализации для извлечения общего массива точек используют технологию компьютерного зрения, при этом для извлечения ключевых точек используют класс-экстрактор. Ключевые точки представляют собой координаты зрачков глаз и координаты двух скул, для определения направления поворота головы.

Далее осуществляется расчет диаметров зрачков: осуществляют расчет диаметров зрачков обоих глаз, используя координаты, предоставленные экстрактором. Данный этап реализуется путем вычисления расстояния между двумя ключевыми точками каждого зрачка. Для вычисления расстояния: диаметр зрачка считается, как длина вектора, соединяющего 2 точки, отвечающие за ширину зрачка (на маске их индексы 471, 469 и 476, 474 для левого и правого глаза соответственно).

Основные переменные, что используются в заявленном решении:

• Продолжительность фокусировки взгляда (D): Измерение времени, в течение которого взгляд пользователя устойчиво фокусируется на устройстве отображения информации, если пользователь смотрит на устройство отображения информации, время увеличивается, а при отвлечении оно сбрасывается и начинается отсчет заново.

• Частота изменений мимики (M): Количество изменений выражений лица за измеряемый период, что может отражать эмоциональное вовлечение.

• Интенсивность изменений мимики (I): Степень выраженности изменений мимики, когда пользователь смотрит на устройство отображения информации, для определения реакции.

• Пространственные изменения (S): Измерение изменения расстояния между головой пользователя и объектом наблюдения (например, экраном). Это измерение представляется как разница в расстоянии за определенный временной интервал.

Пример расчета продолжительности фокусировки взгляда (D):

Продолжительность фокусировки взгляда измеряется в секундах на основе положения зрачков глаз. Если пользователь смотрит на экран, время увеличивается, а при отвлечении оно сбрасывается и начинается заново.

Пример расчета изменений мимики (M и I):

Для вычисления интенсивности изменения мимики пользователя используются следующие шаги:

1. Вычисляется расстояние между уголками рта, используя координаты соответствующих точек.

2. Определяется наибольшее значение из расстояний между кончиками бровей и переносицы.

3. Высота головы определяется как расстояние от верхней до нижней точки маски.

4. Определяется максимальное смещение улыбки (5% от высоты головы) и максимальное смещение бровей (2% от высоты головы).

5. Текущее смещение улыбки вычисляется как разность между текущим значением расстояния между уголками рта и 40% от высоты головы.

6. Текущее смещение высоты бровей вычисляется как разность между текущим значением высоты бровей и 20% от высоты головы.

7. Текущее смещение улыбки нормализуется путем деления на максимальное смещение улыбки и ограничивается значениями от 0 до 1.

8. Текущее смещение высоты бровей нормализуется аналогичным образом.

Итоговое значение интенсивности мимики (параметр I) определяется как сумма нормализованных значений смещений.

Частота изменения этой интенсивности (параметр M) рассчитывается путем отслеживания изменений интенсивности каждый кадр.

Пример расчета пространственных изменений (S):

Для измерения пространственных изменений используется ось OZ. Программа отслеживает изменения координаты z точки с номером 168 в каждом кадре.

На финальном этапе работы заявленного решения осуществляется расчет вовлеченности: Вовлеченность пользователя рассчитывается на основе полученных на предыдущих этапах данных путем:

- нормализации каждой переменной, чтобы их значения были в одном диапазоне,

- вычисляют взвешенную сумму нормализованных значений продолжительности фокусировки взгляда, произведения частоты изменений мимики и интенсивности изменений мимики, а также пространственных изменений положения головы,

- делят полученную сумму на количество параметров для получения среднего значения, умножают результат на 100 для перевода его в процентное выражение, итоговое значение оценки вовлеченности определяется как средневзвешенное значение нормализованных параметров, умноженное на 100 и ограниченное диапазоном от 0 до 100.

Пример реализации заявленного объекта техники. Для подготовки к использованию заявленного способа на рабочем месте пользователя устанавливается устройство видео захвата (например, веб-камера с разрешением 1080p). Рекомендуемое расстояние между камерой и пользователем должно быть таким, чтобы лицо пользователя было четко видно для системы компьютерного зрения (обычно 50-100 см). Это обеспечивает четкую видимость мимики и невербальных реакций. В предпочтительном варианте реализации, рабочее место пользователя должно быть хорошо освещено, для чего могут быть использованы лампы с мягким рассеянным светом, устраняющим тени на лице и обеспечивающим равномерное освещение. Также рекомендуется использование внешних микрофонов и наушников с функцией шумоподавления для обеспечения высокого качества звука.

Перед началом процесса определения оценки вовлеченности проводится калибровка камер, включающая настройку фокуса, угла обзора и проверку освещенности.

Во время работы устройство видео захвата и микрофон фиксируют невербальные и вербальные реакции участников. Вычислительное устройство получает данные и анализирует их в реальном времени, предоставляя информацию о текущем уровне вовлеченности и эмоциональном состоянии участников. Эти индексы рассчитываются на основе различных визуальных признаков, таких как движение глаз, направление взгляда, мимика, положение головы, частота морганий, ширина и продолжительность улыбки, а также другие параметры. Например, индекс вовлеченности связан с анализом визуальных признаков, таких как сосредоточение глаз, направление взгляда, изменение выражений лица пользователя и общая активность.

По завершении процесса вычислительное устройство генерирует подробный отчет, включающий аналитические данные о внимательности и вовлеченности участников, а также рекомендации по улучшению эффективности будущих встреч. Полученные данные помогают выявлять паттерны выгорания, оптимизировать формат совещаний и принимать обоснованные решения для повышения продуктивности.

Вычислительная система, способная обеспечивать обработку данных, необходимую для реализации заявленного решения, в общем случае, содержит такие компоненты как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство ввода, средства сетевого взаимодействия. При исполнении машиночитаемых команд, содержащихся в оперативной памяти, конфигурируют процессор устройства для выполнения основных вычислительных операций, необходимых для функционирования устройства или функциональности одного, или более его компонентов. Память, как правило, выполнена в виде ОЗУ, куда загружается необходимая программная логика, обеспечивающая требуемый функционал. При осуществлении работы предлагаемого решения выделяют объем памяти, необходимый для осуществления предлагаемого решения. Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти и т.п. Средство позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п. Интерфейсы представляют собой стандартные средства для подключения и работы периферийных и прочих устройств, например, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning и т.п. Выбор интерфейсов зависит от конкретного исполнения устройства, которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п. В качестве средств ввода данных в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств ввода данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п. Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM. Компоненты устройства сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Похожие патенты RU2837315C1

название год авторы номер документа
СПОСОБ И СИСТЕМА РАСЧЕТА ИНДЕКСА ВНИМАТЕЛЬНОСТИ 2024
  • Курьян Сергей Михайлович
RU2837379C1
СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ СИНТЕТИЧЕСКИ ИЗМЕНЕННЫХ ИЗОБРАЖЕНИЙ ЛИЦ НА ВИДЕО 2021
  • Вышегородцев Кирилл Евгеньевич
  • Балашов Александр Викторович
  • Вельможин Григорий Алексеевич
  • Сысоев Валентин Валерьевич
RU2768797C1
СПОСОБ И СИСТЕМА ОЦЕНКИ КАЧЕСТВА ОБСЛУЖИВАНИЯ КЛИЕНТОВ НА ОСНОВЕ АНАЛИЗА ВИДЕО- И АУДИОПОТОКОВ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ 2018
  • Маслов Алексей Юрьевич
RU2703969C1
СПОСОБ И СИСТЕМА АВТОМАТИЗИРОВАННОГО ГЕНЕРИРОВАНИЯ ВИДЕОПОТОКА С ЦИФРОВЫМ АВАТАРОМ НА ОСНОВЕ ТЕКСТА 2020
  • Зырянов Александр Владимирович
  • Куриленков Александр Николаевич
  • Ивленков Сергей Владимирович
  • Левин Максим Александрович
RU2748779C1
СПОСОБ ОБРАБОТКИ ДВУХМЕРНОГО ИЗОБРАЖЕНИЯ И РЕАЛИЗУЮЩЕЕ ЕГО ВЫЧИСЛИТЕЛЬНОЕ УСТРОЙСТВО ПОЛЬЗОВАТЕЛЯ 2018
  • Глазистов Иван Викторович
  • Карачаров Иван Олегович
  • Щербинин Андрей Юрьевич
  • Курилин Илья Васильевич
RU2703327C1
Способ и система для распознавания и анализа движений пользователя в реальном времени 2022
  • Большаков Эмиль Юрьевич
RU2801426C1
Устройство для обнаружения признаков асоциального поведения 2023
  • Вуколов Александр Владимирович
  • Долгий Александр Игоревич
  • Кудюкин Владимир Валерьевич
  • Хакиев Зелимхан Багауддинович
RU2798280C1
Способ обработки видео для целей визуального поиска 2018
  • Подлесный Сергей Юрьевич
  • Кучеренко Алексей Валентинович
RU2693994C1
СПОСОБ И СИСТЕМА РАСПОЗНАВАНИЯ ЛИЦ И ПОСТРОЕНИЯ МАРШРУТА С ПОМОЩЬЮ СРЕДСТВА ДОПОЛНЕННОЙ РЕАЛЬНОСТИ 2019
  • Кудияров Дмитрий Сергеевич
  • Балашов Александр Викторович
  • Евграшин Александр Сергеевич
RU2712417C1
СПОСОБ ОТОБРАЖЕНИЯ ТРЕХМЕРНОГО ЛИЦА ОБЪЕКТА И УСТРОЙСТВО ДЛЯ НЕГО 2017
  • Югай Евгений Борисович
RU2671990C1

Реферат патента 2025 года СПОСОБ ОЦЕНКИ ПОКАЗАТЕЛЯ ВОВЛЕЧЕННОСТИ ПОЛЬЗОВАТЕЛЯ

Изобретение относится к способу оценки показателя вовлеченности пользователя. Технический результат заключается в повышении точности определения оценки вовлеченности пользователя. Способ содержит этапы, на которых: получают видеопоток с видеокамеры в режиме реального времени; извлекают посредством вычислительного устройства кадры из видеопотока; осуществляют обработку каждого извлеченного кадра с помощью модели машинного обучения на базе нейронной сети (НС), причем в ходе указанной обработки осуществляют извлечение ключевых точек зрачков и скул в виде 2D-координат, после чего на обработанном кадре с помощью вычислительного устройства: преобразовывают извлеченные 2D-координаты в 3D-векторы и определяют изменение положения этих 3D-векторов для определения направления поворота головы, по отношению к устройству отображения информации; осуществляют вычисление евклидовых расстояний между точками и углов между векторами для определения размеров зрачков и направления взгляда; измеряют время, в течение которого взгляд пользователя устойчиво фокусируется на устройстве отображения информации, если пользователь смотрит на устройство отображения информации, время увеличивается, а при отвлечении оно сбрасывается и начинается отсчет заново; измеряют количество изменений выражений лица пользователя за измеряемый период для определения эмоциональной вовлеченности; определяют интенсивность изменений мимики, когда пользователь смотрит на устройство отображения информации, для определения реакции; на основе полученных данных осуществляют расчет показателя вовлеченности пользователя путем: нормализации каждой переменной, чтобы их значения были в одном диапазоне, вычисляют взвешенную сумму нормализованных значений продолжительности фокусировки взгляда, произведения частоты изменений мимики и интенсивности изменений мимики, а также пространственных изменений положения головы, делят полученную сумму на количество параметров для получения среднего значения, умножают результат на 100 для перевода его в процентное выражение, итоговое значение оценки вовлеченности определяется как средневзвешенное значение нормализованных параметров, умноженное на 100 и ограниченное диапазоном от 0 до 100.

Формула изобретения RU 2 837 315 C1

Компьютерно-реализуемый способ оценки показателя вовлеченности пользователя, содержащий этапы, на которых:

- получают видеопоток с видеокамеры в режиме реального времени;

- извлекают посредством вычислительного устройства кадры из видеопотока;

- осуществляют обработку каждого извлеченного кадра с помощью модели машинного обучения на базе нейронной сети (НС), причем в ходе указанной обработки осуществляют извлечение ключевых точек зрачков и скул в виде 2D-координат,

после чего на обработанном кадре с помощью вычислительного устройства:

• преобразовывают извлеченные 2D-координаты в 3D-векторы и определяют изменение положения этих 3D-векторов для определения направления поворота головы, по отношению к устройству отображения информации;

• осуществляют вычисление евклидовых расстояний между точками и углов между векторами для определения размеров зрачков и направления взгляда;

• измеряют время, в течение которого взгляд пользователя устойчиво фокусируется на устройстве отображения информации, если пользователь смотрит на устройство отображения информации, время увеличивается, а при отвлечении оно сбрасывается и начинается отсчет заново;

• измеряют количество изменений выражений лица пользователя за измеряемый период для определения эмоциональной вовлеченности;

• определяют интенсивность изменений мимики, когда пользователь смотрит на устройство отображения информации, для определения реакции;

• на основе полученных данных осуществляют расчет показателя вовлеченности пользователя путем:

- нормализации каждой переменной, чтобы их значения были в одном диапазоне,

- вычисляют взвешенную сумму нормализованных значений продолжительности фокусировки взгляда, произведения частоты изменений мимики и интенсивности изменений мимики, а также пространственных изменений положения головы,

- делят полученную сумму на количество параметров для получения среднего значения, умножают результат на 100 для перевода его в процентное выражение, итоговое значение оценки вовлеченности определяется как средневзвешенное значение нормализованных параметров, умноженное на 100 и ограниченное диапазоном от 0 до 100.

Документы, цитированные в отчете о поиске Патент 2025 года RU2837315C1

Способ определения направления взгляда 2019
  • Новиков Андрей Владимирович
  • Герасимов Владимир Николаевич
  • Горбачев Роман Александрович
  • Швиндт Никита Евгеньевич
  • Новиков Владимир Иванович
  • Ефременко Андрей Евгеньевич
  • Шишков Дмитрий Леонидович
  • Зарипов Михаил Нилович
  • Козин Филипп Александрович
  • Старостенко Алексей Михайлович
RU2815470C1
СПОСОБ ИЗМЕРЕНИЯ ВОСПРИЯТИЯ 2008
  • Пфлегер Эрнст
  • Пфлегер Кристоф
RU2473301C2
CN 108399376 B, 06.11.2020
US 11290686 B2, 29.03.2022
US 7834912 B2, 16.11.2010
US 20240164677 A1, 23.05.2024
CN 107562186 A, 09.01.2018.

RU 2 837 315 C1

Авторы

Курьян Сергей Михайлович

Даты

2025-03-28Публикация

2024-06-27Подача