СПОСОБ И СИСТЕМА РАСЧЕТА ИНДЕКСА ВНИМАТЕЛЬНОСТИ Российский патент 2025 года по МПК A61B3/113 A61B5/16 G06T7/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности, к способам определения внимательности человека.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, WO 2019054894 A1, 09.10.2017. Данное решение относится к информационным технологиям и может быть использовано для мониторинга поведения пользователя при взаимодействии с контентом с целью получения релевантной обратной связи от потребителей контента, в том числе, на основе невербальных сигналов. Технический результат аналога заключается в упрощении процедуры передачи данных о поведении пользователя от пользовательского устройства к серверу при единовременном ее ускорении. Система содержит сервер, снабженный базой данных и центральным блоком хранения условий наступления событий поведения пользователя и, по меньшей мере, одно пользовательское устройство, снабженное блоком сбора данных, блоком распознавания событий, локальным блоком хранения условий наступления событий поведения пользователя. Блок сбора данных предназначен для проведения сбора первичных данных. Блок распознавания событий предназначен для извлечения признаков событий поведения пользователя, формирования вектора значений таких признаков, сопоставления вектора с предварительно заданными условиями наступления событий, передачи данных о наступлении события на сервер.

Предлагаемое техническое решение направлено на устранение недостатков современного уровня техники и отличается от известных решений тем, что предложенное решение позволяет наиболее точно анализировать изменения в положении ключевых точек человека, за счет чего значительно повышается общая точность определения внимательности человека.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание способа определения внимательности человека.

Технический результат заключается в повышении точности определения внимательности человека.

Заявленный технический результат достигается за счет реализации способа определения внимательности человека, включающего этапы, на которых:

с видеокамеры, размещенной на верхней кромке устройства отображения информации и направленной на лицо человека, транслируют видеопоток на вычислительное устройство, посредством которого:

осуществляют извлечение ключевых точек, причем ключевые точки представляют собой координаты зрачков глаз и координаты двух скул человека, для определения направления поворота головы, по отношению к устройству отображения информации;

осуществляют расчет диаметров зрачков путем вычисления расстояния между двумя ключевыми точками каждого зрачка;

осуществляют определение направления взгляда, путем расчета угла поворота головы в горизонтальной плоскости, за счет вычисления угла между вектором, соединяющим правую и левую щеки, и осью OZ;

осуществляют расчет внимательности, исходя из того, на каком количестве кадров в секунду пользователь смотрел в устройство отображения, причем для определения этого на каждом кадре, осуществляют отслеживание изменения ширины зрачка относительно его ширины в спокойном состоянии, при этом если зафиксировано, что ширина ближайшего, к устройству отображения, зрачка стала меньше изначальной, то это свидетельствует о том, что пользователь убрал глаза от экрана;

осуществляют калибровку расчетов путем перекалибровки высоты головы и изначального размера зрачков, если зафиксировано, что средне значение внимательности за установленный промежуток времени меньше или больше установленного значения.

В частном варианте реализации заявленного способа, для извлечения общего массива точек используют технологию компьютерного зрения, при этом для извлечения ключевых точек используют класс-экстрактор.

В другом частном варианте реализации заявленного способа, для определения расстояния между двумя ключевыми точками каждого зрачка осуществляют векторное вычисление: диаметр зрачка считается, как длина вектора, соединяющего 2 точки, отвечающие за ширину зрачка.

В другом частном варианте реализации заявленного способа, осуществляют определение направления взгляда, путем сравнения z-координаты, где ось отвечает за отслеживание перемещения частей лица в плоскости, перпендикулярной устройству отображения, на котором сфокусирован взгляд человека.

В другом частном варианте реализации заявленного способа, осуществляют определение направления взгляда путем сравнения z-координаты левой и правой скулы человека.

В другом частном варианте реализации заявленного способа, внимательность вычисляется, как процент кадров от общего их числа за секунду, на которых пользователь смотрел в устройство отображения.

В другом частном варианте реализации заявленного способа, на этапе, где осуществляют расчет внимательности, данные о том, смотрит ли пользователь в устройство отображения, сохраняются в массиве, при этом каждый кадр очищается раз в секунду.

В другом частном варианте реализации заявленного способа, на этапе осуществляют калибровку расчетов путем перекалибровки высоты головы и изначального размера зрачков, если зафиксировано, что среднее процентное значение внимательности за последние 10 секунд меньше 20 или больше 95.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Настоящее техническое решение реализовано для качественного и точного определения степени внимательности человека. Заявленное изобретение может быть эффективно задействовано во многих сферах.

В частности, заявленный объект техники может быть задействован в корпоративном секторе: Коммуникации и совещания; Оптимизация онлайн-совещаний; Повышение эффективности командной работы; Анализ вовлеченности участников; Мониторинг когнитивных и поведенческих индексов.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области HR: Подбор персонала; Анализ кандидатов; Оценка вовлеченности сотрудников; Выявление паттернов выгорания; Сокращение времени и улучшение качества найма.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области обучения и развития персонала: Анализ эффективности тренингов и обучения; Персонализация программ обучения; Мониторинг прогресса и вовлеченности сотрудников.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области маркетинга и исследований: Анализ реакций на маркетинговые материалы; Проведение фокус-групп и опросов; Исследование потребительского поведения.

В частности, заявленный объект техники может быть задействован в образовательном секторе: Школы и университеты; Мониторинг внимания и вовлеченности студентов; Повышение качества онлайн/оффлайн обучения; Персонализация образовательного процесса; Анализ эффективности преподавательских методов.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области профессиональной ориентации: Оценка заинтересованности и мотивации учеников; Поддержка в выборе профессии; Мониторинг прогресса в специализированных IT-классах; Развитие метапредметных навыков.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области дополнительного образования: оптимизация онлайн-курсов; персонализация контента для учащихся; мониторинг вовлеченности и успеваемости.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области научных исследований: Проведение экспериментов по изучению поведения и когнитивных реакций; Анализ данных для разработки новых образовательных методик.

В частности, заявленный объект техники может быть задействован в секторе государственных учреждений: Проекты цифровизации образования; Внедрение технологий в школы и университеты; Поддержка государственных программ по цифровизации; Анализ и оптимизация образовательных процессов.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области социальных программ: Поддержка программ профессиональной ориентации; Мониторинг эффективности социальных инициатив; Анализ вовлеченности и реакции участников социальных программ.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области здравоохранения: Мониторинг состояния пациентов на онлайн-консультациях; Анализ поведенческих индексов для выявления признаков стресса и усталости; Поддержка программ профилактики выгорания.

В частности, заявленный объект техники может быть задействован в секторе бизнес-аналитики и консалтинга: Анализ деловых встреч; Оценка продуктивности совещаний: Анализ поведенческих индексов для улучшения корпоративной культуры; Выявление неэффективных практик и их оптимизация.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области консалтинг по управлению: Рекомендации по улучшению коммуникаций; Анализ данных для принятия обоснованных решений; Разработка стратегий повышения эффективности работы команд.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области исследований рынка: Анализ потребительских предпочтений; Оценка эффективности рекламных кампаний; Исследование поведения клиентов.

В частности, заявленный объект техники может быть задействован в финансовом секторе: Банковские услуги; Мониторинг качества обслуживания клиентов; Анализ поведения клиентов на онлайн-платформах; Оценка вовлеченности сотрудников в процесс обслуживания.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области страхования: Оценка рисков на основе поведенческих индексов; Мониторинг состояния клиентов для оценки уровня стресса и рисков; Анализ эффективности взаимодействия с клиентами.

В частности, заявленный объект техники может быть задействован в производственном секторе: Управление производством; Мониторинг внимания и вовлеченности сотрудников на производственной линии; Оценка эффективности обучения сотрудников; Выявление паттернов усталости и снижение рисков аварий.

В одном из вариантов реализации, заявленный объект техники может быть задействован в области проверки качества продукции: Анализ реакций операторов на производственные процессы; Мониторинг качества продукции в реальном времени; Оптимизация процессов на основе поведенческих данных сотрудников.

Таким образом, настоящее изобретение применимо во многих сферах промышленности и позволяет качественно, эффективно и точно осуществлять расчет показателя внимательности человека на основе геометрии его лица.

Для реализации заявленного способа определения внимательности человека необходимо, по меньшей мере, устройство видео захвата, а также вычислительное оборудование, способное осуществлять необходимую обработку данных.

В предпочтительном варианте реализации устройство видео захвата фиксируется на верхней кромке монитора.

В предпочтительном варианте реализации, расстояние между устройством видео захвата и пользователем должно быть таким, чтобы лицо пользователя было четко видно для системы компьютерного зрения (обычно, в диапазоне 50-100 см).

В предпочтительном варианте, для реализации заявленного объекта техники, необходимо стабильное интернет-соединение с пропускной способностью не менее 2Мбит/с.

В предпочтительном варианте реализации устройство видео захвата должно обеспечивать:

• Разрешение видео: разрешение от HD и более, чтобы детально фиксировать мельчайшие изменения в выражениях лица, что необходимо для точной оценки внимательности.

• Частоту кадров: частота кадров не менее 10 кадров в секунду для обеспечения плавности видео и возможности зафиксировать быстрые изменения в выражении лица пользователя.

• Совместимость с системами обработки изображений и анализа данных для немедленной обработки получаемой информации.

В предпочтительном варианте реализации, при осуществлении разметки геометрии лица используются:

• Методы обнаружения ключевых точек: Применение алгоритмов машинного обучения или глубокого обучения для точного и быстрого определения ключевых точек лица, таких как зрачки и скулы.

• Точность позиционирования: Высокая точность в определении местоположения ключевых точек в пространстве, что необходимо для точного расчета диаметров зрачков и углов поворота головы.

• Адаптивность к различным условиям освещения: Способность корректно функционировать в разнообразных условиях освещения, что важно для использования в различных реальных сценариях.

В предпочтительном варианте реализации, при осуществлении определения внимательности человека используются следующие технологии:

• Преобразование координат: Алгоритмы для преобразования 2D координат в 3D векторы, что позволяет точнее анализировать изменения в положении ключевых точек;

• Вычисление расстояний и углов: Эффективные методы для вычисления евклидовых расстояний между точками и углов между векторами, что критично для определения размеров зрачков и направления взгляда.

Для расчета внимательности используются следующие ключевые точки: 471, 469, 476, 474, 123 и 352. Эти точки представляют ширину двух зрачков (471, 469, 476, 474) и положение двух скул человека в пространстве (123 и 352). Извлеченные ключевые точки преобразуются в 3D-векторы и масштабируются в соответствии с коэффициентом масштабирования.

Коэффициент масштабирования рассчитывается как отношение текущей высоты головы к начальной высоте головы. Он используется для корректировки извлеченных ключевых точек на основе изменений размера головы.

На первом этапе осуществляется извлечение ключевых точек. В одном из вариантов реализации для извлечения общего массива точек используют технологию компьютерного зрения, при этом для извлечения ключевых точек используют класс-экстрактор. Ключевые точки представляют собой координаты зрачков глаз и координаты двух скул, для определения направления поворота головы.

Далее осуществляется расчет диаметров зрачков: осуществляют расчет диаметров зрачков обоих глаз, используя координаты, предоставленные экстрактором. Данный этап реализуется путем вычисления расстояния между двумя ключевыми точками каждого зрачка. Для вычисления расстояния: диаметр зрачка считается, как длина вектора, соединяющего 2 точки, отвечающие за ширину зрачка (на маске их индексы 471, 469 и 476, 474 для левого и правого глаза соответственно).

После чего осуществляется определение направления взгляда: определяется, куда повернута голова пользователя - влево или вправо. Этот этап реализуется путем сравнения z-координаты (ось отвечает за отслеживание перемещения частей лица в плоскости, перпендикулярной экрану) левой и правой скулы человека. Направление взгляда определяется путем расчета угла поворота головы в горизонтальной плоскости, а именно за счет вычисления угла между вектором, соединяющим правую и левую щеки, и осью OZ.

На следующем этапе осуществляется расчет внимательности: Внимательность рассчитывается исходя из того, на каком количестве кадров в секунде пользователь смотрел в устройство отображения информации (экран/дисплей/монитор). Для этого используется две функции: одна рассчитывает смотрит ли пользователь в экран в текущем кадре, а другая считает количество кадров, на котором пользователь смотрел в экран и вызывается раз в секунду. Функция getMomentAttention рассчитывает текущую внимательность пользователя в кадре, основываясь на диаметрах зрачков, направлении взгляда и угле поворота головы. Если угол поворота головы меньше 24 градусов (а это значит, что пользователь сидит ровно перед камерой), то размер зрачков увеличивается искусственно на 2, чтобы увеличить точность вычисления внимательности. Пользователь считается внимательным, если он смотрит в экран. Для определения этого используется следующий алгоритм: на каждом кадре отслеживается изменение ширины зрачка относительно его ширины в нормальном, спокойном состоянии. Если ширина ближайшего к экрану зрачка стала меньше изначальной, то это свидетельствует о том, что пользователь убрал глаза от экрана. Данные о том, смотрит ли пользователь в экран, сохраняются в массиве. Каждый кадр очищается раз в секунду при вычислении внимательности. Вычисляется внимательность, как процент кадров от общего их числа за секунду, на которых пользователь смотрел в экран.

На финальном этапе осуществляется калибровка внимательности: также, на основе внимательности, срабатывает функция калибровки расчетов. Если средняя внимательность за последние 10 секунд меньше 20 или больше 95, то происходит перекалибровка высоты головы и изначального размера зрачков.

Пример реализации заявленного объекта техники. Для подготовки к использованию заявленного способа на рабочем месте пользователя устанавливается устройство видео захвата (например, веб-камера с разрешением 1080p, которая фиксируется на верхней кромке монитора на расстоянии 50-100 см от лица пользователя). Это обеспечивает четкую видимость мимики и невербальных реакций. В предпочтительном варианте реализации, рабочее место пользователя должно быть хорошо освещено, для чего могут быть использованы лампы с мягким рассеянным светом, устраняющим тени на лице и обеспечивающим равномерное освещение. Также рекомендуется использование внешних микрофонов и наушников с функцией шумоподавления для обеспечения высокого качества звука.

Перед началом процесса определения внимательности проводится калибровка камер, включающая настройку фокуса, угла обзора и проверку освещенности.

Во время работы устройство видео захвата и микрофон фиксируют невербальные и вербальные реакции участников. Вычислительное устройство получает данные и анализирует их в реальном времени, предоставляя информацию о текущем уровне внимательности и эмоциональном состоянии участников. Эти индексы рассчитываются на основе различных визуальных признаков, таких как движение глаз, направление взгляда, мимика, положение головы, частота морганий, ширина и продолжительность улыбки, а также другие параметры. Например, индекс внимательности связан с анализом визуальных признаков, таких как сосредоточение глаз, направление взгляда и общая активность.

По завершении процесса вычислительное устройство генерирует подробный отчет, включающий аналитические данные о внимательности и вовлеченности участников, а также рекомендации по улучшению эффективности будущих встреч. Полученные данные помогают выявлять паттерны выгорания, оптимизировать формат совещаний и принимать обоснованные решения для повышения продуктивности.

Вычислительная система, способная обеспечивать обработку данных, необходимую для реализации заявленного решения, в общем случае, содержит такие компоненты как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство ввода, средства сетевого взаимодействия. При исполнении машиночитаемых команд, содержащихся в оперативной памяти, конфигурируют процессор устройства для выполнения основных вычислительных операций, необходимых для функционирования устройства или функциональности одного, или более его компонентов. Память, как правило, выполнена в виде ОЗУ, куда загружается необходимая программная логика, обеспечивающая требуемый функционал. При осуществлении работы предлагаемого решения выделяют объем памяти, необходимый для осуществления предлагаемого решения. Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти и т.п. Средство позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей/пассажиров, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п. Интерфейсы представляют собой стандартные средства для подключения и работы периферийных и прочих устройств, например, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning и т.п. Выбор интерфейсов зависит от конкретного исполнения устройства, которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п. В качестве средств ввода данных в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств ввода данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п. Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM. Компоненты устройства сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к области вычислительной техники. Способ определения внимательности человека включает этапы, на которых: с видеокамеры, размещенной на верхней кромке устройства отображения информации и направленной на лицо человека, транслируют видеопоток на вычислительное устройство, посредством которого: осуществляют извлечение ключевых точек, причем ключевые точки представляют собой координаты зрачков глаз и координаты двух скул человека, для определения направления поворота головы по отношению к устройству отображения информации; осуществляют расчет диаметров зрачков путем вычисления расстояния между двумя ключевыми точками каждого зрачка; осуществляют определение направления взгляда путем расчета угла поворота головы в горизонтальной плоскости, за счет вычисления угла между вектором, соединяющим правую и левую щеки, и осью OZ; осуществляют расчет внимательности исходя из того, на каком количестве кадров в секунду пользователь смотрел в устройство отображения, причем для определения этого на каждом кадре осуществляют отслеживание изменения ширины зрачка относительно его ширины в спокойном состоянии, при этом если зафиксировано, что ширина ближайшего к устройству отображения зрачка стала меньше изначальной, то это свидетельствует о том, что пользователь убрал глаза от экрана; осуществляют калибровку расчетов путем перекалибровки высоты головы и изначального размера зрачков, если зафиксировано, что среднее значение внимательности за установленный промежуток времени меньше или больше установленного значения. Изобретение обеспечивает повышение точности определения внимательности человека. 3 з.п. ф-лы.

1. Способ определения внимательности человека, включающий этапы, на которых:

с видеокамеры, размещенной на верхней кромке устройства отображения информации и направленной на лицо человека, транслируют видеопоток на вычислительное устройство, посредством которого:

осуществляют извлечение ключевых точек, причем ключевые точки представляют собой координаты зрачков глаз и координаты двух скул человека, для определения направления поворота головы по отношению к устройству отображения информации;

осуществляют расчет диаметров зрачков путем вычисления расстояния между двумя ключевыми точками каждого зрачка;

осуществляют определение направления взгляда путем расчета угла поворота головы в горизонтальной плоскости за счет вычисления угла между вектором, соединяющим правую и левую щеки, и осью OZ, которая отвечает за отслеживание перемещения частей лица в плоскости, перпендикулярной устройству отображения, на котором сфокусирован взгляд человека;

осуществляют расчет внимательности исходя из того, на каком количестве кадров в секунду пользователь смотрел в устройство отображения, причем для определения этого на каждом кадре осуществляют отслеживание изменения ширины зрачка относительно его ширины в спокойном состоянии, при этом если зафиксировано, что ширина ближайшего к устройству отображения зрачка стала меньше изначальной, то это свидетельствует о том, что пользователь убрал глаза от экрана, причем внимательность вычисляется как процент кадров от общего их числа за секунду, на которых пользователь смотрел в устройство отображения, причем данные о том, смотрит ли пользователь в устройство отображения, сохраняются в массиве, при этом каждый кадр очищается раз в секунду;

осуществляют калибровку расчетов путем перекалибровки высоты головы и изначального размера зрачков, если зафиксировано, что среднее процентное значение внимательности за последние 10 секунд меньше 20 или больше 95.

2. Способ по п. 1, в котором для извлечения общего массива точек используют технологию компьютерного зрения, при этом для извлечения ключевых точек используют класс-экстрактор.

3. Способ по п. 1, в котором для определения расстояния между двумя ключевыми точками каждого зрачка осуществляют векторное вычисление: диаметр зрачка считается как длина вектора, соединяющего 2 точки, отвечающие за ширину зрачка.

4. Способ по п. 1, в котором осуществляют определение направления взгляда путем сравнения z-координаты левой и правой скул человека.