Система интеллектуального мониторинга поведения пользователя при взаимодействии с контентом Российский патент 2022 года по МПК G06F17/40 G06K9/62 H04N7/18 G09B5/12 

Изобретение относится к средствам мониторинга поведения пользователя при взаимодействии с контентом на пользовательском устройстве в процессах онлайн-коммуникаций - во время дистанционного обучения и проведения онлайн-экзаменов, тестирования, определения профессиональных компетенций при собеседовании, проведении научных, деловых мероприятий, для определения внимания и заинтересованности пользователей.

Известен способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления (RU 2673010 С1), выбранная в качестве прототипа, в которой проводят сбор первичных данных с пользовательского устройства, извлекают признаки событий поведения пользователя, которые сопоставляют с предварительно заданными на пользовательском устройстве условиями наступления событий поведения пользователя, и, в случае найденного соответствия, передают данные о наступлении события на сервер и сохраняют полученный результат в базе данных.

В данном способе отсутствуют защита от фото и видео подлога при биометрической идентификации пользователя, предобработка данных, механизмы балансировки нагрузки. Так же в данном способе выполнение обработки и хранение части биометрических данных на устройстве пользователя приводит к уязвимостям и возможности несанкционированного доступа к пользовательским данным.

Кроме того, в данном способе отсутствует возможность настройки параметров системы под конкретного пользователя и формат сдачи дисциплины, не обеспечивается гибкость внедрения новых решений, масштабируемость функционала, высокая надежность и отказоустойчивость.

Эти недостатки устраняются предлагаемым решением.

Решается задача мониторинга поведения пользователя при взаимодействии с контентом на пользовательском устройстве разработкой масштабируемой программно-аппаратной системы, включающей сервисы предварительной обработки данных для уменьшения объема пользовательских данных на сервере, интеллектуальной фильтрации шумов и повышения информативности сжатого видеосигнала, криптографической защиты пользовательских данных, реализации биометрической верификации пользователя с защитой от фото и видео подлога, балансировки нагрузки при помощи аппаратно-программных методов с целью оптимизации используемых ресурсов, максимизации пропускной способности каналов связи, уменьшения времени отклика сервера.

Технический результат заключается в наличии защиты от фото и видео подлога при идентификации и верификации пользователя, предобработке данных для модуля видеоаналитики, балансировке нагрузки, отсутствии обработки и хранения биометрических данных на устройстве пользователя, наличии настройки параметров системы под конкретного пользователя и формат сдачи дисциплины для управления процессами коммуникаций через электронные пользовательские устройства с целью улучшения качества мониторинга поведения пользователя при взаимодействии с контентом с обеспечением гибкости внедрения новых решений, масштабируемости функционала, высокой надежности и отказоустойчивости.

Технический результат достигается тем, что в системе интеллектуального мониторинга поведения пользователя при взаимодействии с контентом, содержащей сервер и связанные с сервером пользовательские устройства, в которой на каждом пользовательском устройстве проводится сбор первичных данных посредством программных и аппаратных средств, извлечение поведенческих событий, агрегация данных и формирование вектора значений признаков событий, на сервере хранится база данных и производится контроль нарушений пользователя сопоставлением вектора признаков с предварительно заданными на пользовательском устройстве условиями наступления событий поведения пользователя, на пользовательских устройствах в блоке сбора данных выполняется настройка параметров системы под конкретного пользователя и формат сдачи дисциплин; сервер содержит модуль валидации видеоданных для защиты от фото и видео подлога, обеспечивающий выявление программной и физической подмены лица при идентификации и верификации пользователя; модуль предобработки данных для модуля видеоаналитики с фильтрацией шумов и анализом регулярности изображений путем сравнения уровней яркости каждого пикселя входных данных для описания окрестности; блок контроля наступления событий по сформированному вектору признаков; блок контроля нагрузки и передачи данных для балансировки нагрузки между клиентом и сервером, обеспечивающий равномерное распределение нагрузки и масштабирование множества клиентов и серверов; сервер осуществляет обработку и хранение биометрических данных с обеспечением криптографической защиты и снижением нагрузки на клиенте; обеспечена гибкость внедрения новых решений, масштабируемость функционала, высокая надежность и отказоустойчивость за счет использования микросервисной архитектуры.

Под первичными данными понимаются данные о действиях пользователя, которые совершаются на пользовательском устройстве с использованием его аппаратных и программных средств, биометрические данные пользователя, а также данные об окружающем пространстве. Сбор перечисленных данных может осуществляться в форме текста, графики, аудио и видео, в том числе биометрических данных.

Под поведенческими событиями понимаются события о действиях пользователя в системе, включающие подключение дополнительных аппаратных средств, в том числе путем Bluetooth соединения, запуск приложений, поисковых запросов, открытие файлов, смену активного окна, скроллинг, включение/выключение микрофона/видеокамеры на устройстве, а также изменение направления взгляда, угла поворота головы пользователя, появление сторонних лиц в кадре, появление посторонних шумов. При сборе поведенческих событий формируется вектор значений признаков, где каждое событие представляет собой несколько размерностей вектора, который в дальнейшем сопоставляется с предварительно заданными условиями наступления событий поведения пользователя. Извлеченные вектора признаков по каждому типу данных отправляются на GPU сервер, где происходит обработка данных.

Под настраиваемыми параметрами системы понимаются события поведения пользователя, которые необходимо отслеживать в соответствии с целями проведения мониторинга и выбор которых осуществляется перед началом процесса онлайн-коммуникаций в блоке сбора данных. Например, можно задать допустимый угол отведения взгляда, поворота головы или исключить мониторинг этих поведенческих событий, разрешить скроллинг и т.д. В соответствии выбранным параметрам информация о наступлении поведенческих событий поступает в блок контроля событий.

Обработка биометрических данных осуществляется блоком видеоаналитики, в котором при помощи алгоритмов компьютерного зрения, в частности моделей gaze-estimation-adas-0002, facial-landmarks-35-adas-0002, head-pose-estimation-adas-0001, осуществляется идентификация пользователя и анализ направления взгляда. Хранение биометрических данных осуществляется на выделенном сервере с обеспечением криптографической защиты.

Процесс выявления фото и видео подлогов, в том числе присутствия программной или физической подмены лица, осуществляется путем применения базовых нейронных сетей SimpleNet. Изображения из трека используются для получения четырех модальностей (2 ранг-пулинга и 2 оптических потока), которые обрабатываются независимыми базовыми сетями SimleNet и в дальнейшем агрегируются полносвязным слоем. Использование данной архитектуры позволяет использовать предложенный алгоритм в режиме реального времени.

Фильтрация шумов с учетом последующего применения алгоритмов детектирования объектов и событий осуществляется модулем предобработки данных с использованием медианного фильтра, где производится предобработка на основе анализа регулярности изображения для поиска важных областей с анализом окрестностей каждого пикселя. При этом сравниваются уровни яркости пиксела и его окрестности.

Балансировка нагрузки осуществляется за счет комплекса алгоритмов и методов, которые соответствуют транспортному уровню OSI.

Использование микросервисной архитектуры, в отличие от монолитной архитектуры, где отсутствует изоляция и распределенность между модулями системы, способствует гибкости и масштабируемости, а использование оркестровки позволяет контролировать запуск и остановку контейнеров, группировать их в кластеры и организовывать все процессы, образующие приложение, что способствует высокой надежности и отказоустойчивости за счет управления развертыванием контейнеров и автоматизации обновлений, контроля за состоянием и процедур аварийного переключения.

Интеллектуальная система работает следующим образом.

В виде устройства пользователя могут выступать стационарные компьютеры, ноутбуки, телефоны, планшеты, оснащенные веб-камерой.

На фиг. 1 представлена функциональная схема системы интеллектуального мониторинга, где структурные блоки отдельных микросервисов выделены пунктиром. Она включает блоки сбора данных о выполняемых процессах на устройстве пользователя 1, сбора видеоданных 2, контроля аппаратных подключений 3, агрегации данных 4, контроля нагрузки и передачи данных 5, распределения данных 6, предобработки данных 7, валидации видеоданных 8, биометрической верификации 9, видеоаналитики 10, контроля событий 11, агрегации обработанных данных 12, базы данных 13, подведения итогов и получения результатов 14.

Сбор данных осуществляется с помощью трех блоков. Блок 1 включает в себя модуль контроля запущенных программных процессов и приложений на пользовательском устройстве 15 и модуль контроля событий мыши 16. Данный блок собирает данные о кликах и скроллингах мыши при взаимодействии с контентом, а также контролирует запущенные процессы на устройстве пользователя и передает результаты в модуль агрегации 20. Блок 2, включающий модуль подключения к веб-камере 17, реализует захват изображений с пользовательского устройства на основе средств сбора видеоданных (web-камеры) и получения снимков рабочего стола, и передает захваченные изображения в модуль агрегации данных 20. Блок 3 включает в себя модули сбора данных о Bluetooth-соединениях 18 и контроля сети 19 для проверки стабильности соединения с сервером и сетью Интернет, и передает результаты в модуль агрегации данных 20. Модуль агрегации данных 20 извлекает вектор признаков по каждому типу данных, полученных с пользовательского устройства в результате работы блоков 1, 2, 3, и отправляет вектор признаков на GPU сервер посредством модуля передачи данных 21.

Затем данные распределяются модулем 22 на блок контроля событий 11 и модуль предобработки данных 23. Модуль 22 реализован при помощи аппаратно-программных методов и снижает нагрузку на канал связи с уменьшением времени обработки видеоданных.

Блок контроля событий 11 поведения пользователя при работе с техническими устройствами осуществляется с помощью модуля анализа запущенных программных средств 24, модуля анализа Bluetooth-соединений 25, предназначенного для исследований и мониторинга трафика и анализа подключений к пользовательскому устройству, модуля контроля событий мыши 26, позволяющего контролировать клики и скроллинги по странице в зависимости от контента.

Модуль 23 реализует предобработку данных, выполняя интеллектуальную фильтрацию шумов с учетом последующего применения алгоритмов детектирования объектов и событий, а также сжатие данных видеосигнала без потери важной информации. Далее данные передаются в модуль валидации видео 27.

Модуль валидации видеоданных 27 анализирует видео на основе алгоритма 3d-реконструкции лица на фотографии и оценки карты глубины локальных дескрипторов, выявляет фото и видео подлоги, в том числе присутствие программной (наложения фото и видео) и физической подмены лица, детектируя подлог в режиме реального времени. При успешной валидации кадр попадет в блок биометрической верификации 9, включающий модуль поиска лица 28 на изображении и модуль биометрической верификации 29, который в соответствие с идентификационным номером выполняет верификацию пользователя. Верификация пользователя выполняется в самом начале работы системы и далее через установленный промежуток времени At. Верификация производится с помощью выделения высокоуровневых признаков лица и сравнения их с имеющимися биометрическими данными в БД.

После успешной верификации данные передаются в блок видеоаналитики 10, включающий модуль проведения криптографической защиты 30 и модуль анализа невербальных признаков поведения пользователя 31 (отведение взгляда, поворот головы, эмоции) с помощью библиотеки Open VINO™ Toolkit и предобученных глубоких моделей из репозитория Open Model Zoo, дающих выигрыш в скорости обработки данных.

Модель глубокого обучения gaze-estimation-adas-0002 на вход получает детектированные с помощью модели facial-landmarks-35-adas-0002 глаза и ориентацию головы по локальным осям xyz, формируя на выходе ненормированный вектор направления взгляда. Кроме того, формируются углы положения головы по осям xyz с помощью модели head-pose-estimation-adas-0001.

Обработанные данные с блока контроля событий 11 для анализа поведения пользователя при работе с техническими устройствами и блока видеоаналитики 10, осуществляющего анализ невербальных признаков поведения, отправляются в модуль агрегации обработанных данных 32, выполняющий контроль совокупности всех групп событий и записывающий все обнаруженные признаки событий в базу данных 33. Модуль подведения итогов и получения результатов 34 позволяет просмотреть результаты мониторинга поведения пользователя на пользовательском устройстве при взаимодействии с контентом, формируя отчет с полной статистикой (видам, количествам и временем выявления признаков событий) по выявленным нарушениям в виде интерактивных графических схем в интерфейсной части системы мониторинга фиг. 2, а также в виде сформированного Excel отчета.

Кроме того, система мониторинга поведения пользователя при возникновении нарушений его взаимодействия с контентом в режиме реального времени выводит всю информацию о нарушениях в виде интерактивных графических схем на экран экзаменатора (лектора).

Предложенная интеллектуальная система мониторинга поведения пользователя при взаимодействии с контентом, реализованная в виде микросервисов, удовлетворяет требованиям:

1. Настройки процессов коммуникаций через электронные пользовательские устройства под конкретного пользователя и формат сдачи дисциплины, и может использоваться в прикладных областях онлайн работы.

2. Масштабирования и наращивания архитектуры системы, что требуется в современных реалиях, когда в образовательных и других организациях ряд процессов переводится в удаленный режим работы с использованием мультимедийных платформ для видео-конференц-связи.

3. Повышает эффективность и производительность процессов мониторинга, анализа, контроля и реализации эффективного управления коммуникационными дистанционными процессами.

4. Обеспечивает повышение надежности принятия решений при мониторинге поведения пользователя при взаимодействии с контентом за счет расширения функционала контроля и возможности подстройки параметров системы как под конкретного пользователя, так и конкретный технический процесс.

5. Повышает устойчивость работы системы за счет балансировки нагрузки.

6. Обеспечивает биометрическую верификацию пользователей с защитой от фото и видео подлога, а также криптографическую защиту данных для предотвращения несанкционированного доступа к пользовательским данным на сервере.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества мониторинга поведения пользователя. Система интеллектуального мониторинга поведения пользователя при взаимодействии с контентом содержит сервер и связанные с сервером пользовательские устройства, в которой на пользовательских устройствах проводится сбор первичных данных посредством программных и аппаратных средств; извлечение поведенческих событий; агрегация данных и формирование вектора значений признаков событий; контроль нарушений пользователя сопоставлением вектора признаков с предварительно заданными на пользовательском устройстве условиями наступления событий поведения пользователя; хранение первичных данных и нарушений пользователя в базе данных сервера; сервер содержит модуль валидации видеоданных для защиты от фото- и видеоподлога; модуль предобработки данных для модуля видеоаналитики; блок контроля наступления событий по сформированному вектору признаков; блок контроля нагрузки и передачи данных; сервер осуществляет обработку и хранение биометрических данных с обеспечением криптографической защиты и снижением нагрузки на клиента. 2 ил.

Система интеллектуального мониторинга поведения пользователя при взаимодействии с контентом, содержащая сервер и связанные с сервером пользовательские устройства, в которой на каждом пользовательском устройстве проводится сбор первичных данных посредством программных и аппаратных средств, включающий модуль контроля запущенных программных процессов и приложений, модуль контроля событий мыши, модуль подключения к веб-камере с захватом изображений снимков рабочего стола, модуль сбора данных о Bluetooth-соединениях и контроля сети для проверки стабильности соединения с сервером и сетью Интернет; извлечение поведенческих событий; агрегация данных и формирование вектора значений признаков событий; контроль нарушений пользователя сопоставлением вектора признаков с предварительно заданными на пользовательском устройстве условиями наступления событий поведения пользователя; хранение первичных данных и нарушений пользователя в базе данных сервера, отличающаяся тем, что на пользовательских устройствах в блоке сбора данных реализована настройка параметров системы под конкретного пользователя, включающая дополнительно к биометрической верификации пользователя данные о поведенческих событиях пользователя и формате сдачи дисциплины; сервер содержит модуль валидации видеоданных для защиты от фото- и видеоподлога, обеспечивающий выявление программной и физической подмены лица при идентификации и верификации пользователя; модуль предобработки данных для модуля видеоаналитики с фильтрацией шумов и анализом регулярности изображений путем сравнения уровней яркости каждого пикселя входных данных для описания окрестности; блок контроля наступления событий по сформированному вектору признаков; блок контроля нагрузки и передачи данных для балансировки нагрузки между клиентом и сервером, обеспечивающий равномерное распределение нагрузки и масштабирование множества клиентов и серверов; сервер осуществляет обработку и хранение биометрических данных с обеспечением криптографической защиты и снижением нагрузки на клиента.