Способ предоставления подсказки о поведении студента в ходе проведения дистанционного экзамена Российский патент 2021 года по МПК G06F7/04 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к области технологий дистанционного обучения, а именно к способу предоставления подсказки о поведении студента в ходе дистанционного экзамена. Изобретение может быть использовано в автоматизированных системах прокторинга при проведении дистанционных экзаменов, в которых студенты участвуют с использованием средств вычислительной техники.

ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

Автоматизированные системы прокторинга предполагают, что студент проходит контрольное мероприятие, используя компьютер, который подключен к сети Интернет, а видеоданные и звук из помещения, в котором в это время студент сдает экзамен, передаются третьей стороне – проктору, наблюдающему за студентом. На компьютер в ходе сессии прокторинга студент получает от удаленного сервера назначенные контрольные задания (тестовые вопросы, тема для эссе, математические примеры). Чтобы исключить влияние недобросовестного поведения на результаты контрольного мероприятия, за студентом устанавливается, по возможности автоматизированное, наблюдение. Проктор имеет возможность следить за действиями студента, не находясь непосредственно в помещении, в котором студент выполняет контрольные задания. Для этого используются любые данные, передаваемые от компьютера студента на сервер и, затем, с сервера на компьютер проктора. Традиционно такими данными являются звуковые и видеоданные от компьютера студента. В случае если проктору покажется, что студент проявляет недобросовестное поведение (например, списывает), то проктор может сделать студенту замечание или прервать для такого студента мероприятие.

Однако для того чтобы обеспечить возможность масштабирования системы прокторинга, а именно снизить число прокторов и увеличить число одновременно проходящих испытания студентов, необходимы технологии, которые позволили бы выявлять недобросовестное поведение автоматически или, по меньшей мере, в автоматизированном режиме, а участие проктора свести только к анализу спорных ситуаций, например, ложноположительных срабатываний алгоритмов анализа поведения студента.

Способы обеспечения наблюдения за ходом дистанционного экзамена в системах прокторинга известны, например, из заявок на патенты US20070117083 (опубл. 21.11.2006) и US20120135388 (опубл. 31.05.2012). Известные технические решения направлены на автоматизацию наблюдения за студентом, и используют аппаратные и программные средства компьютера студента для передачи потоков видео-, звуковых и других видов данных для их последующего анализа проктором. Дополнительно могут быть использованы биометрические данные студента для установления его личности перед началом экзамена. При анализе данных от компьютера студента, в случае если студент проявляется недобросовестное поведения, то проктор может вмешаться в ход экзамена, чтобы пресечь такое поведение или полностью остановить экзамен.

Известен способ управления массовым тестированием экзаменуемых через систему прокторинга, раскрытый в заявке на патент US20110279228 (опубликовано 17.11.2011). В известном способе используют биометрическую информацию о каждом экзаменуемом для выявления экзаменуемых, чье поведение отличается от поведения большинства. В качестве отправной точки известного способа полагают, что нормальное поведение экзаменуемого, не связанное с мошенничеством, то есть нарушением регламента тестирования, является проявлением поведения большинства экзаменуемых и может быть описано через математическую модель, представленную кластером из значений векторов признаков. При этом в наиболее массивный кластер попадают те значения, которые наиболее близки друг другу. Вектора признаков формируются на основе потоков данных, получаемых от программных и аппаратных средств компьютеров экзаменуемых. В наиболее распространенных случаях таковыми являются веб-камера, микрофон, средства слежения за активностью экзаменуемого при работе с системными и прикладными программами на его компьютере. При этом гипотеза о недобросовестном поведении одного или нескольких экзаменуемых принимается в зависимости от того, на каком расстоянии от центроида упомянутого кластера находится значение вектора признаков, рассчитанное для этих экзаменуемых. Для того чтобы избежать большого количества ложных срабатываний при расчете упомянутого расстояния предусмотрено одно или несколько пороговых значений, с которыми проводят сопоставление фактического расстояния вектора, рассчитанного для экзаменуемого, от центроида кластера. При превышении одного или нескольких порогов срабатывает модуль оповещения проктора о подозрении на недобросовестное поведение со стороны экзаменуемого.

Известен способ динамической идентификации личности испытуемого, раскрытый в заявке на патент RU2016139461 (патент № RU2642406, опубл. 07.10.2016). Известный способ позволяет сделать процедуру проверки личности студента на протяжении всего экзамена автоматической. Для этого используется сопоставление рассчитанного в определенный промежуток времени вектора биометрических признаков для испытуемого с эталонным значением для испытуемого, рассчитанным предварительно перед началом экзамена на основе фотографии с изображением студента. При этом такие события как отсутствие испытуемого либо подмена испытуемого в ходе экзамена расцениваются как нарушения регламента мероприятия. Затем проводят скоринг нарушений, сущность которого заключается в том, что каждому из упомянутых нарушений присваивается весовое значение в зависимости от строгости нарушения. Одновременно с этим рассчитывают сумму присвоенных нарушениям весов и на протяжении всего экзамена следят, чтобы рассчитанная сумма не превышала предварительно установленное пороговое значение. При достижении порогового значения проктору направляют оповещение о нарушении регламента мероприятия, при этом проктор может сделать замечание студенту, переключиться на наблюдение за испытуемым в ручном режиме, либо остановить проведение экзамена для испытуемого, проявившего недобросовестное поведение.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Техническая задача, положенная в основу настоящего изобретения, заключается в автоматизации выявления нарушений регламента дистанционного экзамена.

Технический результат, достигаемый при осуществлении настоящего изобретения заключается в снижении количества ошибок при выявлении нарушений регламента дистанционного экзамена в автоматизированных системах прокторинга.

В качестве изобретения заявлен способ предоставления подсказки о поведении студента в ходе дистанционного экзамена, в котором анализируют поток данных по меньшей мере от одного программного, аппаратного средства, которыми снабжен компьютер студента, выявляют автоматически в упомянутом потоке данных по меньшей мере одно событие поведения студента, в случае если упомянутое событие является нарушением регламента дистанционного экзамена, то такому событию присваивают вес в зависимости от типа нарушения, в случае если в ходе экзамена выявлено более одного нарушения, то определяют совокупность весов выявленных нарушений и сопоставляют ее с по меньшей мере одним предварительно установленным пороговым значением, возвращают подсказку о поведении студента, указывающую на степень достижения упомянутой совокупности весов по меньшей мере одного порогового значения, при этом вес по меньшей мере одного нарушения определяют как совокупность весов для этого нарушения, выявленного в одном или нескольких режимах из следующей группы: выявлено автоматически, выявлено автоматически и подтверждено в ручном режиме, выявлено в ручном режиме; причем для одного нарушения установлены количественно различающиеся веса, в зависимости от того, в каком из упомянутых режимов выявлено нарушение.

В частности, программные средства компьютера студента представлены средствами наблюдения за рабочим столом.

В частности, аппаратные средства компьютера студента представлены веб-камерой и микрофоном.

В частности, нарушения в зависимости от типа анализируемого потока данных отнесены к одной или нескольким из следующих категорий: видеонарушения, голосовые нарушения, нарушения, ассоциированные с активностью рабочего стола, нарушения, ассоциированные с идентификацией личности студента.

В частности, условия отнесения события поведения студента к нарушению регламента дистанционного экзамена предварительно загружены на компьютер студента.

В частности, тип нарушения является индикатором строгости этого нарушения и заранее определен для каждого нарушения.

В частности, для разных типов нарушений установлены количественно различающиеся веса.

В частности, для веса нарушения, выявленного автоматически, предусмотрен дополнительный понижающий коэффициент, устанавливающий значение веса ниже в сравнении с весами нарушений, выявленных автоматически и подтвержденными в ручном режиме или выявленных в ручном режиме.

В частности, выявление нарушений в автоматическом режиме проводят одновременно с ходом дистанционного экзамена или после его завершения.

В частности, выявление нарушений в ручном режиме проводят одновременно с ходом дистанционного экзамена или после его завершения.

В частности, подтверждение нарушений в ручном режиме проводят одновременно с ходом дистанционного экзамена или после его завершения.

В частности, подсказка представляет собой текстовую, графическую или звуковую информацию.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Настоящее описание проиллюстрировано следующими фигурами, призванными сделать сущность изобретения ясной.

ФИГ.1 иллюстрирует схему примерного компьютера студента;

ФИГ.2 иллюстрирует схемы синхронного и асинхронного режимов прокторинга;

ФИГ.3 иллюстрирует схему взаимодействия программного и аппаратного обеспечения процесса прокторинга;

ФИГ.4 иллюстрирует блок-схему варианта проведения дистанционного экзамена с использованием настоящего изобретения;

ФИГ.5A иллюстрирует начало блок-схемы варианта процедуры скоринга нарушений;

ФИГ.5B иллюстрирует окончание блок-схемы варианта процедуры скоринга нарушений.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

В соответствии с примером, представленным на ФИГ.1, компьютер студента 101 может быть сконфигурирован таким образом, чтобы предоставлять стороне, проводящей экзамен, доступ к некоторым ресурсам упомянутого компьютера. В общем случае компьютером 101 может являться любой выполненный в соответствии с известными принципами компьютер в широком смысле, т.е. таким компьютером может являться персональный стационарный компьютер или специально предоставленный студенту компьютер, сконфигурированный для проведения экзамена, а также нестационарные устройства, такие как ноутбук или смартфон. Более конкретно, для того чтобы сконфигурировать компьютер студента для проведения дистанционного экзамена, такой компьютер должен быть снабжен веб-камерой 102, которая позволяет проводить видеосъемку лица студента и его окружения, микрофоном 103, который позволяет записывать голос студента и звуки из его окружения, а также быть способным предоставлять доступ к ресурсам операционной системы для наблюдения за рабочим столом 104. Под термином “рабочий стол” понимается экранная интерактивная среда, позволяющая пользователю обращаться к каталогам и приложениям компьютера, переключаться между активными окнами запущенных приложений.

Для осуществления изобретения также могут быть задействованы другие программные и аппаратные средства компьютера 101, например, запоминающее устройство 105, позволяющее записывать и выполнять помимо операционной системы, драйверов и прикладного программного обеспечения, также еще и программное обеспечение, необходимое для проведения дистанционного экзамена и наблюдения за поведением студента в ходе экзамена посредством веб-камеры 102, микрофона 103 и рабочего стола 104. Запоминающее устройство 105 может быть представлено оперативным, постоянным запоминающим устройством, другим известным видом запоминающего устройства. Помимо программных и аппаратных средств, упомянутых ранее, компьютер 101 также должен включать в себя устройства пользовательского ввода, такие как клавиатура, мышь, средства сенсорного ввода. Следует отметить, что оговоренные в настоящем описании опции и требования к компьютеру 101 студента также справедливы и для любого другого компьютера, который может быть привлечен для осуществления настоящего изобретения, например, компьютера проктора или тьютора.

В соответствии с примером, представленным на ФИГ.2, процедура прокторинга может быть осуществлена в асинхронном или синхронном режиме. Асинхронный режим 201 прокторинга предполагает, что любое множество компьютеров студентов 101 может быть объединено в сеть посредством каналов связи 202, работающих поверх сети Интернет, через которую осуществляется обмен данными между компьютерами 101 и серверной инфраструктурой 203. Серверная инфраструктура 203 может состоять из любого количества физических или виртуальных серверов, и может представлять собой централизованную или распределенную инфраструктуру. В качестве примера рассмотрим распределенную серверную инфраструктуру, в которой каждый из серверов представляет собой стек, состоящий из медиа-сервера, веб-сервера и сервера бизнес-логики. Медиа-сервер предназначен для обеспечения трансляции и записи видеопотоков; через веб-сервер обеспечивают взаимодействие между веб-браузером компьютера 101 и сервером бизнес-логики; сервер бизнес-логики включает служебные сервисы и базы данных, при помощи которых возможно для различных целей хранить и обрабатывать данные, поступающие на серверную инфраструктуру 203 со стороны компьютеров 101, и наоборот, направлять команды, данные, сигналы со стороны инфраструктуры 203 на компьютеры 101. Результаты прокторинга сохраняют и обрабатывают в инфраструктуре 203, и затем после завершения сеанса прокторинга результаты доступны для ознакомления с любого пригодного для этого и компьютера, имеющего права доступа к упомянутым результатам.

Синхронный режим 204 предполагает аналогичный характер взаимодействия между компьютерами 101 и инфраструктурой 203, но дополнительно включает в себя одновременное взаимодействие с инфраструктурой 203 компьютеров 205 прокторов посредством канала связи 202, работающего поверх сети Интернет. Результаты прокторинга сохраняют и обрабатывают в инфраструктуре 203, и делают доступными для ознакомления в режиме реального времени или после завершения сеанса прокторинга с компьютера 205 проктора. В отношении компьютеров 205 справедливы все те же положения, что были сделаны ранее в отношении компьютеров 101 с ссылкой на ФИГ.1.

В соответствии с примером, представленном на ФИГ.3, программное и аппаратное обеспечение процесса прокторинга может быть более детально раскрыто следующим образом. Компьютер 101 снабжен веб-браузером 301, посредством которого студенту предоставляют доступ к материалам дистанционного экзамена, личному кабинету студента в системе прокторинга и другим необходимым для обеспечения прокторинга опциям. В качестве веб-браузера 301 может быть рассмотрен любой известный и широко применяемый веб-браузер без каких-либо ограничений. Дополнительно на компьютере 101 предварительно установлено и запущено клиентское расширение 302, позволяющее извлекать результаты и другие промежуточные данные прокторинга и передавать их впоследствии на инфраструктуру 203 и далее на компьютеры 205 прокторов через каналы связи 202. Клиентское расширение 302 может быть запущено в среде операционной системы компьютера 101, либо непосредственно в среде веб-браузера 301, когда расширение сконфигурировано как подключаемое расширение веб-браузера 301. Различные выполнения клиентских расширений могут быть предусмотрены для различных операционных систем, веб-браузеров, компьютеров 101, чтобы обеспечить наилучшую программную совместимость.

Инфраструктура 203 может быть выполнена в виде нескольких связанных посредством сетевых технологий физических серверов, на каждом из которых запущены гостевые виртуальные серверы с установленным пакетом средства контейнеризации такой как DOCKER или аналогичной. Каждый DOCKER-контейнер представляет собой запущенный образ сервиса, содержащий в себе образы виртуальной операционной системы, пакетов установки, автозапускаемых скриптов. Контейнер является работающим образом, т.е. запущенной виртуальной машиной, на которой запущены все службы, сервисы и пакеты образа. На каждом гостевом сервере устанавливают один из трех контейнеров: KMS 303 с медиасервером для трансляции и записи видеопотоков, Master 304 со служебными сервисами и базами данных, PERF 305 с сервером взаимодействия между веб-браузером компьютеров 101 и 205 и медиасервером.

Взаимодействие проктора с результатами прокторинга возможно через веб-интерфейс 306 системы прокторинга. Через интерфейс 306 проктору возвращают сведения о нарушениях, поступивших от одного или нескольких студентов. Возврат таких сведений может быть осуществлен через чат, в котором информирование проктора осуществляется в виде текстовых или звуковых оповещений. Также через интерфейсе 306 проктору возвращают подсказку о поведении студента в виде индикации, о которой будет упомянуто впоследствии в больших деталях. Также интерфейс 306 может предоставлять проктору возможность просмотра видеопотока, поступающего от веб-камеры компьютера студента в режиме реального времени, либо из архива, в который записана сессия прокторинга.

В соответствии с примером, представленном на ФИГ.4, процесс дистанционного экзамена с использованием настоящего изобретения может включать в себя следующие шаги.

Проведение дистанционного экзамена начинается с шага 401, на котором студенту предлагают присоединиться к соглашению о конфиденциальности. В общем случае, такое соглашение гарантирует приватность для всех полученных от студента персональных, в том числе, биометрических данных. Дополнительные положения, с которыми может быть предложено согласиться студенту, включают в себя разрешение на использование веб-камеры, микрофона, получения удаленного доступа к рабочему столу его компьютера 101, а также других аппаратных и программных средств компьютера 101, которые могут быть использованы как источники данных о поведении студента во время дистанционного экзамена.

На следующем шаге 402 осуществляют проверку соответствия компьютера 101 студента техническим требованиям, включая проверку готовности операционной системы, аппаратных средств компьютера, наличия необходимого предварительно установленного программного обеспечения, оценку качества интернет-соединения.

На следующем шаге 403 осуществляют прием идентификационных данных от студента, которые позволяют установить личность студента, чтобы удостовериться, что в проведении экзамена участвует именно тот студент, которому предписано пройти дистанционный экзамен. В качестве идентификационных данных может быть использован какой-либо удостоверяющий личность студента документ с фотографией, например, его паспорт, а также видеопоток, в кадрах которого присутствует студент.

На следующем шаге 404 проводят идентификацию студента на основе принятых на предыдущем шаге 403 его идентификационных данных. Идентификация студента может быть проведена один раз перед началом испытательной части экзамена и динамически, т.е. на протяжении всего времени экзамена. Также идентификация может быть осуществлена вручную проктором либо автоматически. Автоматическая идентификация может быть более предпочтительной в случаях проведения массовых экзаменов, когда количество студентов значительно превышает количество прокторов. Автоматическая идентификация может быть осуществлена посредством нейронной сети, представляющей собой автоматическую обучаемую систему распознавания лиц. Нейронная сеть включает библиотеку алгоритмов обработки изображений, компьютерного зрения, а также численных алгоритмов общего назначения. Нейронная сеть проводит обработку кадров полученного от веб-камеры студента видеопотока и передает результаты обработки в функциональный модуль, ответственный за принятие решения об идентификации студента исходя из сходств, найденных между обработанным нейронной сетью изображением лица студента и предварительно полученным изображением, являющимся эталонным для этого же студента.

Выполнение следующих шагов 405 и 406 может быть начато одновременно, при этом шаг 405 включает инициирование проверочной части, а шаг 406 включает инициирование работы программного обеспечения, предназначенного для наблюдения за поведением студента во время экзамена. Однако отметим, что употребление термина «одновременно» не означает, что выполнение шагов 405 и 406 начинают строго в один и тот же момент времени, а только подчеркивает параллельный режим выполнения этих шагов. На практике упомянутое программного обеспечение может начать свою работу немного раньше или позже начала проверочной части экзамена.

На шаге 405 студенту предоставляют доступ к материалам проверочной части экзамена. Упомянутые материалы могут включать в себя тестовые задания, экзаменационные вопросы, предполагающие открытый ответ, математические примеры, темы для письменного ответа без каких-либо ограничений по форме или темам заданий. Предоставление доступа к материалам может быть осуществлено посредством обращения к сетевому ресурсу или сервису, предназначенному для дистанционного обучения, посредством веб-браузера. Также материалы проверочного испытания могут быть предоставлены студенту посредством любого другого подходящего средства коммуникации, такого как электронная почта или онлайн-мессенджер. Выбор способа предоставления доступа может быть определен исходя из регламента экзамена и по существу может быть произвольным.

Как уже было упомянуто выше, на шаге 406 инициируют работу программного обеспечения (ПО), предназначенного для наблюдения за поведением студента во время экзамена. Предпочтительно упомянутое ПО может иметь модульную структуру, т.е. состоять из функциональных модулей. В качестве иллюстрирующего примера здесь и далее рассмотрим работу трех функциональных модулей, каждый из которых направлен на анализ определенного вида данных, которые возможно получить при помощи программных и аппаратных средств компьютера студента. Здесь и далее термины «функциональный модуль» и «модуль» употреблены как синонимические.

Рассмотрим более детально назначение каждого из примерных модулей. Модуль распознавания лиц 407 представляет собой автоматическую систему фиксации видеонарушений, связанных с распознаванием лица студента. Модуль голосового контроля 408 представляет собой автоматическую систему фиксации голосовых нарушений. Модуль контроля рабочего стола 409 представляет собой автоматическую систему фиксации нарушений, возникающих при обращении студентом к запрещенным регламентом экзамена приложению или каталогу через среду рабочего стола. Несмотря на то, что работа ПО в настоящем описании проиллюстрирована тремя функциональными модулями, на практике таких модулей может быть значительно больше, что зависит от конкретных видов нарушений со стороны студента, которые необходимо выявить в ходе проведения экзамена, чтобы считать экзамен пройденным или непройденным для студента.

Параллельно с работой упомянутого ПО, выполняют шаг 410, который является процессом взаимодействия студента с материалами проверочной части экзамена. Например, при выполнении шага 410 принимают результаты пользовательского ввода или выбора студентом ответа на тестовое заданий. Продолжительность во времени шага 410 определяется регламентом экзамена.

По результатам работы ПО во время выполнения шага 406 формируют подсказки о поведении студента, взаимодействующего с материалами экзамена. Подсказки могут предназначаться проктору и быть предоставленными ему в режиме реального времени, когда один проктор наблюдает одновременно за несколькими студентами. Также подсказки о поведении студента могут быть предоставлены проктору после окончания экзамена, чтобы проктор мог просмотреть видеозапись сдачи экзамена студентом, поведение которого является подозрительным, не отвлекаясь на это непосредственно в ходе проведения экзамена.

Подсказка может быть предоставлена проктору в виде индикатора, на шкале которого отражено количество штрафных баллов, полученных студентом по результатам автоматического и/или ручного прокторинга. Примером используемой шкалы может являться шкала из ста баллов. В зависимости от количество штрафных баллов индикатор может иметь зеленый цвет, когда количество штрафных баллов равно нулю или значительно ниже, чем установленное пороговое значение; желтый цвет, когда количество штрафных баллов незначительно ниже упомянутого порогового значения; красный цвет, когда количество штрафных баллов превысило пороговое значение. В зависимости от цвета индикатора процедура прокторинга может быть принята, отклонена или требовать действий или внимания со стороны проктора. Отметим, что цветовая индикация может быть произвольной, как и установленное пороговое значение для изменения цвета индикации и количество пороговых значений, которых может быть более одного. Одно пороговое значение может быть установлено на восьмидесяти баллах, то есть при получении восьмидесяти баллов и более прохождение экзамена студентом не засчитывается.

Начисление каждого штрафного балла студенту происходит при условии 411, если какой-либо из модулей 407-409 обнаружил нарушение регламента экзамена. Все нарушения могут быть разделены на несколько классов, в зависимости от характера нарушения. Так, если нарушения разделены на два класса – незначительные и значительные, то штрафные баллы могут быть начислены следующим образом: за каждое незначительное нарушение студенту начисляют десять баллов, за каждое значительное нарушение – двадцать баллов. В качестве незначительных нарушений могут быть рассмотрены длительный увод взгляда, разговор во время экзамена, наличие еще одного человека в видеопотоке от веб-камеры. В качестве значительных нарушений могут быть рассмотрены отсутствие студента в кадре, подмена студента, использование книг/конспектов, смена активного окна рабочего стола, обращение к сайту или использование программного обеспечения, недопустимых исходя из регламента экзамена.

Процедуру начисления штрафных баллов для целей настоящего изобретения будем называть как процедуру скоринга нарушений 412. Конкретное значение штрафного балла для студента является одним из результатов прокторинга и передается затем в аналитическую систему на шаге 413, где может быть отражено в рейтинге активности индивидуального студента или группы студентов. Скоринг нарушений может быть проведен как для индивидуального студента, так и для группы студентов, сдающих дистанционных экзамен с одного или разных компьютеров.

Затем на шаге 414 получают результат проверочного испытания, ассоциируют с ним результаты прокторинга и на шаге 415 записывают эти сведения в архив, к которому может обратиться, проктор или любое другое лицо, имеющее санкционированный доступ к таким данным, например, администратор учебного курса или тьютор.

В соответствии с примером, представленным на ФИГ.5A и ФИГ.5B, процедура скоринга нарушений может быть осуществлена следующим образом.

В качестве иллюстрирующих, но не ограничивающих сущность настоящего изобретения примеров, рассмотрим процедуру скоринга следующих категорий нарушений. Как уже было отмечено выше, модуль распознавания лиц 407 предназначен для фиксации видеонарушений; модуль голосового контроля 408 предназначен для фиксации голосовых нарушений; модуль контроля рабочего стола 409 предназначен для фиксации нарушений, ассоциированных с активностью на рабочем столе.

Категории нарушений могут включать в себя несколько типовых событий, расцениваемых как нарушения в зависимости от регламента экзамена.

Категория видеонарушений содержит без ограничения следующие события: увод студентом взгляда от экрана компьютера, отсутствие студента в кадре, использование книг или конспектов, использование сторонних технических средств.

Категория голосовых нарушений содержит без ограничения следующие события: наличие разговора при выполнении контролируемого мероприятия, обнаружение голоса студента или посторонних голосов.

Категория нарушений, ассоциированных с активностью рабочего стола, включает без ограничения следующие события: смена активного окна рабочего стола, использование сайтов или ПО, запрещенных регламентом экзамена.

Особенностью человеческого поведения является тот факт, что каждое нарушение происходит не мгновенно, следовательно, не может быть дискретным, оно занимает время (непрерывный отрезок длительностью больше 1 секунды), необходимое объекту на то, чтобы совершить действие, которое является событием одной из категорий нарушений и может быть зафиксировано в системе прокторинга.

Модули 407-409, находясь в активном состоянии, проводят проверку ассоциированного с ними типа данных, ожидая распознавания события.

При распознавании 501 события из категории видеонарушений, модуль 407 инициирует выполнение 502 функции cybCam_auto, фиксирующей видеонарушения. После получения данных о начале фиксации видеонарушения активируют таймер с предустановленным временным интервалом, например, в течение пяти минут. На шаге 503 проводят проверку вида распознаваемых событий в течение предустановленного временного интервала. Если проверка 503 завершается с отрицательным результатом, то совершают возврат на шаг 502. Если проверка 503 завершается с положительным результатом, то проводят группировку 504 распознанных событий и присваивают 505 сгруппированному событию тип нарушения. Если нарушение является значительным, то ему присваивают вес 506, исходя из функции P(1)*cybCam_auto, в которой:

P(1) – это установленный вес для нарушения первого типа (значительные нарушения).

Иначе, если определено два типа нарушений (значительные/незначительные), то нарушению присваивают вес 507, исходя из функции P(2)*cybCam_auto, в которой:

P(2) – это установленный вес для нарушения второго типа (незначительные нарушения).

Библиотеки и алгоритмы, позволяющие распознавать события, связанные с видеонарушениями, дают точность для распознавания события в пределах 64-82%. Такой процент точности приводит к появлению ложноположительных или ложноотрицательных срабатываний. Однако, если нарушение в действительности имеет место, то несколько срабатываний происходит в течение короткого промежутка времени. На практике количество срабатываний может составлять три и более случаев за одну минуту. Поэтому проверка 503 с таймером является предпочтительным шагом для снижения влияния автоматического распознавания событий на результаты прокторинга.

При распознавании 508 события из категории голосовых нарушений, модуль 408 инициирует получение 509 значения cybVoice_auto, фиксирующей голосовые нарушения. После получения данных о начала фиксации голосового нарушения активируют таймер с предустановленным временным интервалом. На шаге 510 проводят проверку вида распознаваемых событий в течение предустановленного временного интервала. Если проверка 510 завершается с отрицательным результатом, то совершают возврат на шаг 509. Если проверка 510 завершается с положительным результатом, то проводят группировку 511 распознанных событий. Для голосовых нарушений может быть определен только один тип нарушения, предпочтительно, незначительные. В таком случае нарушению присваивают вес 512, исходя из значения P(2)*cybVoice_auto, в котором:

P(2) – это установленный вес для нарушения второго типа (незначительные нарушения).

Значение cybVoice_auto рассчитывается за весь период прохождения экзамена, согласно правилу неприменимости двойного наказания за один и тот же разговор. На автоматическую функцию определения голоса может быть наложено ограничение: не более одного предупреждения в минуту, чтобы не перегружать чат проктора/тьютора однотипными нарушениями.

При распознавании 513 события из категории нарушений, ассоциированных с активностью рабочего стола, модуль 409 инициирует выполнение 514 функции cybDesk_auto. При выявлении каждого события рабочего стола ему присваивают вес 515, исходя из значения P(2)*cybDesk_auto, в котором:

P(2) – это установленный вес для нарушения второго типа (незначительные нарушения).

Помимо трех упомянутых выше категорий нарушений в системе прокторинга также может быть осуществлена динамическая идентификация личности студента cybIdent_auto для нарушений, связанных с идентификацией и верификации людей в кадре.

Данные о выявляемых в ходе сессии прокторинга нарушениях и их весовых коэффициентах затем обрабатываются 516, например, вычисляется их сумма, чтобы определить текущую оценку скоринга для студента. Учитывая веса, которые предусмотрены для каждой из категорий нарушения, формула для текущей оценки скоринга будет следующей:

Где – установленный вес для нарушения, в зависимости от типа (1 – значительные нарушения или 2 – незначительные нарушения);

cybCam_auto(N) – номер видеонарушения;

cybVoice_auto(N) – номер голосового нарушения;

Вес для нарушения из каждой категории устанавливают в зависимости от размерности шкалы. Например, вес может исчисляется в баллах и составить от 10 до 20 баллов, в зависимости от типа нарушения, при максимальном возможном значении в 100 пунктов, при котором автоматически экзамен для студента считается непройденным по причине нарушения регламента.

Значение оценки прокторинга F может быть автоматически обновляемым в ходе всей сессии прокторинга. При этом на протяжении всей сессии следят 517 за близостью значения оценки F и предварительно установленного порогового значения К.

Пороговое значение K устанавливают исходя из степени дисциплинарного контроля мероприятия. Сумма весов всех нарушений пользователя имеет ограничение в 100 пунктов, в виде нормирования оценочной шкалы. Исходя из этого, если выбрано значение порога в 100 пунктов, то прокторинг для всех контрольных мероприятий считается пройденным и сессии пользователей обладают положительным статусом Correct. Если выбрано значение порога в 0 пунктов, то прокторинг для всех контрольных мероприятий имеет статус Incorrect и требует дополнительного ручного просмотра со стороны прокторов и/или тьюторов. Если значение порога больше половины от 100 пунктов, это значит, что допустимо несколько нарушений (больше двух). Если значение порога меньше половины, то выбран строгий режим оценивания, подразумевающий минимальное количество нарушений (например, одно или два нарушения). Помимо порогового значения, может быть установлено допустимое количество нарушений для конкретного дистанционного экзамена, что необходимо для расчета весовых характеристик нарушений.

В случае проверки 518, если оценка F превышает пороговое значение K, то студенту не засчитывают прокторинг по причине превышения 519 количества допустимых нарушений. Иначе переходят к проверке 520, в случае которой, если оценка F превысила пониженное пороговое значение 0,75K, то проктору возвращают подсказку о подозрительном поведении 521 студента в ходе экзамена. В случае если значение F не превысило значение 0,75K, то прокторинг для студента считают успешным, без превышения количества допустимых нарушений. В этом случае проктору возвращают подсказку, о том, что поведение студента является добросовестным 522. По итогам сессии данные об автоматически выявленных нарушениях записывают в архив 523. Также в архив могут быть включены полностью или частично полученные в ходе дистанционного экзамена потоковые данные от компьютеров 101 студентов.

Предпочтительно результаты автоматического прокторинга должны быть дополнены результатами 524 выявления нарушений в ручном режиме, когда проктор в ходе дистанционного экзамена отслеживает потоки данных от компьютера 101 студента в режиме реального времени или ознакамливается с ними после окончания экзамена.

Пример. Проведение процедуры скоринга, объединяющей результаты автоматического проекторинга и выявления нарушений в ручном режиме.

Для дистанционного экзамена могут быть установлены весовые коэффициенты для каждого типа нарушений. Установка может быть представлена следующим образом.

А) Определяют допустимое количество нарушений первого типа: F(1);

B) Рассчитывают вес нарушения 1-го типа:

где К – порог, F(1) – количество нарушений первого типа;

C) Определяют допустимое количество нарушений 2-го типа: F(2);

D) Рассчитывают вес нарушения 2-го типа:

E) Соблюдают условие:

F) Вычисляют понижающий коэффициент для нарушения 2-го типа:

Работа скоринговой функции может быть определена для трех случаев получения результатов прокторинга:

– выявлено автоматически;

– выявлено автоматически и подтверждено в ручном режиме;

– выявлено в ручном режиме.

При полностью автоматическом прокторинге функция включает только параметры автоматической фиксации нарушений, весовые характеристики автоматических нарушений применяются с понижающим коэффициентом.

При смешанном прокторинге функция включает как параметры автоматической фиксации нарушений, так и эталонные весовые значения нарушений, зафиксированных вручную, при этом учитываются только подтвержденные автоматические нарушения, вес.

При ручной фиксации нарушений вес оценки проктора и/или тьютора является эталонным с коэффициентом равным единице. Каждое нарушение, зафиксированное проктором и/или тьютором априори считается положительным и подлежит обязательному включению в расчеты по формуле.

Более детально рассмотрим пример, в котором проведение процедуры прокторинга происходит в смешанном режиме, т.е. объединяет результаты автоматического проекторинга и выявления нарушений в ручном режиме.

A) Параметры нарушения cybCam_auto

- Из всего времени экзамена t, ищутся такие отрезки времени Xt, что кол-во нарушений одного типа (cybCamt)в минуту >=3;

- Каждый такой отрезок времени Xt = Pn(Alert_type), где Alert_type принимает значение 1 или 2.

C) Параметры нарушения cybVoice_auto

cybIdentauto(Alert_type) = 0,5Pn(Alert_type).

D) Параметры нарушения со сменой активного окна cybDesk_auto

- t – Общая продолжительность экзамена;

- cybVoiceauto => 0.65, тогда

- cybVoiceauto = Pn(2), (нарушение проктора 2 типа),

- 0.5 <= cybVoiceauto < 0,65, тогда cybVoice = 0,5Pn(2)

- если cybVoiceauto < 0,5, то cybVoice = 0.

E) Параметры нарушений, подтвержденных в ручном режиме

- cybCamt = Tn(Alert_type), где Alert_type принимает значение 1 или 2;

- cybDeskt = Tn(Alert_type),

- cybVoicet =Tn(Alert_type).

F) Параметры нарушений, выявленных в ручном режиме тьютором

где F(Alert_type) - количество допустимых нарушений типа Alert_type на экзамен.

G) Параметры нарушений, выявленных в ручном режиме проктором

Tn(Alert_type) = Pn(Alert_type).

H) Параметр “Нарушитель“ (cheat)

Cheat = K+1, где K - пороговое значение.

I) Параметр “Идентификация” - не учитывается в общей оценке

- если результат идентификации OK или NO PHOTO, то I принимает значение 0;

- если результат идентификации FAIL, то I принимает значение -101.

J) Параметр “Идентификация” - учитывается в общей оценке

переменная I =0, значение проверки выводится отдельно.

Промежуточный результат

Если Res > 100, то Res=100;

ResI=Res+I, где I – идентификация.

Итоговый результат прокторинга:

A) Прокторинг пройден - результат равен или ниже порогового значения K:

B) Прокторинг не пройден - результат выше порогового значения K:

C) Идентификация не пройдена

Следует отметить, что представленные выше конкретные детали являются лишь примером осуществления настоящего изобретения и призваны сделать его сущность более ясной без какого-либо ограничения. Специалистам будет понятно, что изобретение может быть дополнено многими другими деталями без отклонения от его сути. Сущность изобретения выражена формулой, приложенной к настоящему описанию.

Изобретение относится к области вычислительной техники. Технический результат заключается в снижении количества ошибок при выявлении нарушений регламента дистанционного экзамена в автоматизированных системах прокторинга. Технический результат достигается за счет анализа потока данных от одного программного, аппаратного средства, которыми снабжен компьютер студента, выявления автоматически в упомянутом потоке данных одного события поведения студента; в случае если упомянутое событие является нарушением регламента дистанционного экзамена, то такому событию присваивают вес в зависимости от типа нарушения, в случае если в ходе экзамена выявлено более одного нарушения, то определяют совокупность весов выявленных нарушений и сопоставляют ее с по меньшей мере одним предварительно установленным пороговым значением; возвращения подсказки о поведении студента, указывающей на степень достижения упомянутой совокупности весов порогового значения, при этом вес по меньшей мере одного нарушения определяют как совокупность весов для этого нарушения, выявленного в одном или нескольких режимах из следующей группы: выявлено автоматически, выявлено автоматически и подтверждено в ручном режиме, выявлено в ручном режиме; причем для одного нарушения установлены количественно различающиеся веса, в зависимости от того, в каком из упомянутых режимов выявлено нарушение. 14 з.п. ф-лы, 6 ил.

1. Способ предоставления подсказки о поведении студента в ходе дистанционного экзамена, в котором анализируют поток данных по меньшей мере от одного программного, аппаратного средства, которыми снабжен компьютер студента, выявляют в упомянутом потоке данных по меньшей мере одно событие поведения студента; в случае если упомянутое событие является нарушением регламента дистанционного экзамена, то такому событию присваивают вес в зависимости от типа нарушения, в случае если в ходе экзамена выявлено более одного нарушения, то определяют совокупность весов выявленных нарушений и сопоставляют ее с по меньшей мере одним предварительно установленным пороговым значением, возвращают подсказку о поведении студента, указывающую на степень достижения упомянутой совокупности весов по меньшей мере одного порогового значения, при этом вес по меньшей мере одного нарушения определяют как совокупность весов для этого нарушения, выявленного в одном или нескольких режимах из следующей группы: выявлено автоматически, выявлено автоматически и подтверждено в ручном режиме, выявлено в ручном режиме, причем для одного нарушения установлены количественно различающиеся веса, в зависимости от того, в каком из упомянутых режимов выявлено нарушение.

2. Способ по п.1, в котором программные средства компьютера студента представлены средствами наблюдения за рабочим столом компьютера.

3. Способ по п.1, в котором аппаратные средства компьютера студента представлены веб-камерой и микрофоном.

4. Способ по п.1, в котором нарушения в зависимости от типа анализируемого потока данных отнесены к одной или нескольким из следующих категорий: видеонарушения, голосовые нарушения, нарушения, ассоциированные с активностью рабочего стола, нарушения, ассоциированные с идентификацией личности студента.

5. Способ по п.1, в котором условия отнесения события поведения студента к нарушению регламента дистанционного экзамена предварительно загружены на компьютер студента.

6. Способ по п.1, в котором тип нарушения является индикатором строгости этого нарушения и заранее определен для каждого нарушения.

7. Способ по п.1, в котором для разных типов нарушений установлены количественно различающиеся веса.

8. Способ по п.1, в котором для веса нарушения, выявленного автоматически, предусмотрен дополнительный понижающий коэффициент, устанавливающий значение веса ниже в сравнении с весами нарушений, выявленных автоматически и подтвержденных в ручном режиме или выявленных в ручном режиме.

9. Способ по п.1, в котором выявление нарушений в автоматическом режиме проводят одновременно с ходом дистанционного экзамена.

10. Способ по п.1, в котором выявление нарушений в автоматическом режиме проводят после завершения дистанционного экзамена.

11. Способ по п.1, в котором выявление нарушений в ручном режиме проводят одновременно с ходом дистанционного экзамена.

12. Способ по п.1, в котором выявление нарушений в ручном режиме проводят после завершения дистанционного экзамена.

13. Способ по п.1, в котором подтверждение нарушений в ручном режиме проводят одновременно с ходом дистанционного экзамена.

14. Способ по п.1, в котором подтверждение нарушений в ручном режиме проводят после завершения дистанционного экзамена.

15. Способ по п.1, в котором подсказка представляет собой текстовую, графическую или звуковую информацию.