Способ проведения экспресс-тестирования знаний обучаемых и обработки его результатов Российский патент 2021 года по МПК G09B3/06 

Изобретение относится к области технологий компьютерного тестирования при обучении и подготовке специалистов для различных отраслей знаний и специальностей, а также при проведении социальных и психологических опросов.

Известен способ оценки знаний учащегося при компьютерном тестировании (см. 1, патент РФ №2640709, G09B 7/06, опубл. 11.01.2018 г.).

В известном способе каждому из учащихся предъявляют тестовое задание, состоящее из вопроса и вариантов ответа на экране компьютера. При этом регистрируют момент времени начала просмотра текста вопроса и каждого варианта ответа, момент времени окончания просмотра текста вопроса и каждого варианта ответа, времени принятия решения о выборе варианта ответа с помощью манипулятора. Вычисляют интегральные показатели выполнения тестового задания, характеризующих последовательность и скорость просмотра вопроса и вариантов ответа, регистрацией связанных с событием потенциалов (ССП) во время просмотра текста варианта ответа. Выделяют позитивный компонент ССП Р300, который развивается в теменных отделах коры головного мозга, при наличии которого делают вывод о совпадении эндогенного образа, соответствующего правильному ответу на вопрос, с экзогенным образом, возникающим при чтении текста на экране: соответствие случайному угадыванию, списыванию, частичному знанию, неуверенному знанию или уверенному знанию.

Однако при реализации известного способа требуется наличие электроэнцефалографов на каждого учащегося (при одновременном тестировании) для регистрации электроэнцефалограммы, посредством которой распознают компонент ССП Р300, что усложняет осуществление известного способа.

Известен способ способ-экспресс тестирования знаний обучаемых (см. 2. патент РФ №2564224, G09B 3/06, опубл. 27.09.2015 г.), заключающийся в предъявлении тестируемым фиксированного множества вопросов и различных вариантов ответов на каждый вопрос. В анализе выбранных тестируемыми вариантов ответов и выводе итоговых оценок всем тестируемым предъявляется одинаковый набор вопросов. При этом ответы тестируемые заносят в стандартные бумажные бланки, причем под правильные варианты ответов на бумажном бланке рядом с номерами вопросов выделены несколько белых полей, обозначенных цифрами номера правильного ответа. Для обозначения десятков из номера тестируемого на бумажном бланке выделены десять белых полей, обозначенных цифрами от 0 до 9, десять белых полей для обозначения единиц из номера тестируемого, обозначенных цифрами от 0 до 9.

Правильные варианты ответов и номер тестируемого отмечаются тестируемыми путем закрашивания соответствующих белых полей, правильные варианты ответов на вопросы, с учетом номеров вопросов. Номер тестируемого в общем списке тестируемых автоматически считываются оптическим методом, для автоматического определения позиции, ориентации и масштабирования бумажного бланка в оптическом считывателе на бланке присутствуют оптически считываемые графические метки, выполненные в виде трех черных кругов, которые расположены в двух верхних углах и в нижнем левом углу бумажных бланков. Оптическим методом определяется яркость каждого поля Ai, все яркости Ai выстраиваются по возрастанию значения яркости, получая новый массив Aij, где i - номер поля, j - номер в списке яркостей по возрастанию яркости, Aij<Ak(j+1). Определяется разность яркостей соседних полей dAj=Ai(j+1)-Akj, если существует разность dAj, которая вдвое больше всех остальных разностей, то данная разность разделяет закрашенные и незакрашенные поля, все поля Akj с данным j и меньшими значениями j закрашены, все поля Akj с большими j не закрашены.

Однако данный способ имеет ограниченную область применения, что связано с необходимостью хранения больших объемов данных, поскольку известный способ предполагает создание цифрового изображения бланка после его оптического считывания.

Наиболее близким аналогом изобретения, принятым за прототип, является Способ обработки результатов экспресс-тестирования знаний обучаемых (см. 3, патент РФ на изобретение №2689208, G09B 3/06, опубл. 24.05.2019 г.).

В способе-прототипе обучаемым предъявляют одинаковый набор вопросов, причем обучаемые заносят ответы в стандартные бумажные бланки, затем ответы на вопросы обучаемых автоматически считывают оптическим методом, анализируют и выводят итоговые оценки, при этом в предварительно подготовленных ответах, хранящихся в виде текстовых файлов в ЭВМ, выделяют значимые слова и словосочетания, которые наиболее полно характеризуют правильность ответа, затем формируют матрицу значимых слов и словосочетаний по всему набору вопросов, в которой строками являются номера вопросов, а столбцами количество значимых слов и словосочетаний, определяющих градацию оценки, при этом обучаемые заносят ответы в стандартные бумажные бланки в виде текстовых пояснений отдельно на каждый вопрос из предъявляемого им набора, считывают текстовые пояснения ответов на вопросы оптическим методом, затем считанные текстовые пояснения ответов обрабатывают и в ходе обработки выявляют наличие значимых слов и словосочетаний в обработанных текстовых пояснениях ответов, соответствующих значимым словам и словосочетаниям из предварительно подготовленных ответов, при этом отдельно по каждому обучаемому формируют его матрицу ответа, строками которой являются номера вопроса, а столбцами - количество значимых слов и словосочетаний, выявленных в текстовом пояснении, причем поле каждой строки заштриховывают только в том столбце, который соответствует количеству значимых слов и словосочетаний, выявленных в текстовом пояснении, после чего анализируют сформированную матрицу ответа каждого из обучаемых путем ее сравнения с матрицей значимых слов и словосочетаний и по результатам анализа выводят итоговую оценку каждому обучаемому, при этом для автоматизации процесса анализа оптическим методом определяют яркости полей по столбцам каждой строки сформированной матрицы ответов и ставят в соответствие с яркостью полей по столбцам каждой строки сформированной матрицы ответов с номером столбца соответствующей строки предварительно подготовленной матрицы значимых слов и словосочетаний, определяющего градацию оценки, при этом выводят итоговую оценку для каждого обучаемого как результат среднего значения оценок, полученных за каждый вопрос, причем предварительно задают градацию оценки в матрице значимых слов и словосочетаний как процент числа совпадения значимых слов и словосочетаний от их общего количества: отлично, если процент совпадений превысит значение 85%; хорошо, если процент совпадений превысит значение 70%; удовлетворительно, если процент совпадений превысит значение 55%; неудовлетворительно, если процент совпадений будет ниже значения 55%.

Однако способ-прототип имеет относительно низкую степень автоматизации процесса обработки результатов тестирования, связанную с необходимостью формирования в ручном режиме по каждому тестируемому его матрицы ответа, и недостаточную конфиденциальность как предварительно подготовленных ответов, так и ответов тестируемых.

Из анализа вышеприведенных известных технических решений следует, что проблемой, которую необходимо решить, является значительное время, требуемое для обработки результатов тестирования и недостаточная конфиденциальность как предварительно подготовленных ответов, так и ответов тестируемых.

При этом обеспечиваемая конфиденциальность, как подготовленных ответов, так и ответов тестируемых, не должна приводить к существенному усложнению процедуры их анализа при выводе итоговой оценки каждому тестируемому.

Техническим результатом, достигаемым при решении вышеуказанной проблемы, является повышение уровня автоматизации процесса обработки, что приведет к снижению времени, требуемого для обработки результатов тестирования, и повышение защищенности представления результатов тестирования при сохранении возможности их анализа без применения дополнительных процедур.

Заявляемый технический результат достигается тем, что предварительно подготавливают ответы, которые хранят в ЭВМ, задают градацию итоговой оценки, предъявляют тестируемым одинаковый набор вопросов, причем тестируемые заносят ответы в стандартные бумажные бланки, затем ответы на вопросы тестируемых автоматически считывают оптическим методом, обрабатывают считанные ответы, формируют матрицу ответа каждого из тестируемых, анализируют сформированную матрицу ответа каждого из тестируемых, путем ее сравнения с предварительно подготовленными ответами и по результатам анализа выводят итоговую оценку каждому тестируемому, согласно изобретению предварительно подготовленные ответы записывают в проверочную матрицу, которая содержит два столбца, а число строк проверочной матрицы соответствует количеству вопросов теста, при этом, в первом столбце проверочной матрицы содержится номер вопроса, а во втором сгенерированный QR-код ответа на вопрос, а стандартный бумажный бланк, в который тестируемые заносят ответы, формируют в виде таблицы ответов, число строк которой соответствует количеству вопросов теста, а количество столбцов в каждой строке выбирают равным числу возможных ответов на соответствующий вопрос теста плюс столбец с номером вопроса, при этом ответы, в таблицу ответов, тестируемые заносят путем выставления единиц в том столбце, номер которого соответствует номеру, выбранного ими ответа на вопрос теста, а при обработке считанных оптическим методом ответов, из заполненной таблицы ответов, формируют QR-код, а матрицу ответа каждого тестируемого формируют аналогичным формированию проверочной матрицы образом, при этом в первом столбце матрицы ответа записывают номер вопроса, а во втором - сформированный QR-код ответа тестируемого, при анализе сформированной матрицы ответа каждого из тестируемых, выявляют соответствие QR-кода ответа на вопрос тестируемого с QR-кодом ответа соответствующей строки проверочной матрицы, итоговую оценку каждому тестируемому выводят исходя из числа выявленных соответствий QR-кода ответа на вопрос тестируемого с QR-кодом ответа соответствующей строки проверочной матрицы.

Благодаря предварительной подготовке проверочной матрицы, содержащей QR-коды ответа на вопросы, представлении ответов в виде выставленных единиц в том столбце специально подготовленных таблиц ответов стандартных бумажных бланков, номер которого соответствует номеру, выбранного ими ответа на вопрос теста, представлении ответов тестируемых, считанных оптическим методом, в виде QR-кодов, из которых формируют матрицу ответа каждого тестируемого, а также выставлении итоговой оценки каждому тестируемому по результатам выявления соответствий QR-кодов матрицы ответа каждого тестируемого с QR-кодами проверочной матрицы, обеспечивается повышение уровня автоматизации процесса обработки результатов тестирования и повышение защищенности представления результатов тестирования, при сохранении возможности их анализа без применения дополнительных процедур.

Действительно, в способе прототипе предполагается, что числовое значение выявленных значимых слов и словосочетаний в обработанных текстовых пояснениях ответов проверяющий заносит в формируемую матрицу ответа путем закрашивания темным цветом соответствующего столбца в каждой строке. Указанная процедура предполагает значительные временные затраты при тестировании большого количества респондентов, поскольку выполняются по каждому тестируемому.

Следует также отметить, что в условиях одновременного тестирования (опроса или проверки знаний) большого числа респондентов достаточно сложно сохранить как конфиденциальность ответов тестируемых, так и заранее подготовленных ответов без применения специальных мер.

В то же время переход к считыванию ответов с помощью оптических сканеров, с последующим автоматическим формированием QR-кода сканированного ответа программным способом, позволит существенно сократить время, затрачиваемое на обработку считанных ответов и формирование матрицы ответа тестируемого, что позволит повысить степень автоматизации процесса тестирования.

При этом использование QR-кодов, с одной стороны обеспечит конфиденциальность как предварительно подготовленных ответов, так и ответов тестируемых, поскольку по внешнему виду QR-кода нельзя определить информацию, которая в нем содержится. В качестве примера, на фиг 3 представлена проверочная матрица, в которой показаны ответы в цифровом виде и соответствующие им QR-коды.

А с другой - сохранит возможность анализа ответов, представленных в сформированных матрицах ответа каждого из тестируемых, с ответами, представленными в проверочной матрице, без применения дополнительных процедур. Следовательно, даже на уровне визуального анализа легко можно отличить различные QR-коды друг от друга. Даже в том случае, когда различия между двумя информационными символами, минимальны, структура, соответствующих им QR-кодов существенно отличается друг от друга, что позволяет идентифицировать эти различия на уровне визуального анализа. В качестве примера, на фиг. 4 представлены цифровые последовательности с минимальными различиями и соответствующие им QR-коды, структура которых существенно отличается друг от друга. Эти выявленные новые уникальные свойства QR-кодов обеспечивают достижение заявляемого технического результата.

Заявленный способ поясняется чертежами, где:

на фиг. 1 изображен стандартный бумажный бланк, используемый в процессе экспресс-тестирования (таблица ответов выделена утолщенными линиями);

на фиг. 2 - изображен стандартный бумажный бланк, с заполненной таблицей ответов;

на фиг. 3 - проверочная матрица;

на фиг. 4 - сформированные QR-коды по каждому варианту возможного ответа на первый вопрос;

на фиг. 5 - блок-схема последовательности операций, демонстрирующая технологический процесс для проведения экспресс-тестирования и обработки его результатов.

Способ проведения экспресс-тестирования и обработки его результатов осуществляют следующим образом с использованием фиг. 5.

1. Предварительно подготавливают вопросы и варианты ответов, которые хранят в ЭВМ (см. блок Т1 на фиг. 5).

На каждый вопрос подготавливают несколько вариантов ответов, среди которых только один ответ является правильным. Каждому ответу присваивают порядковый номер. Порядок следования ответов может быть различным.

2. Предварительно подготовленные ответы записывают в проверочную матрицу, которая содержит два столбца, а число строк проверочной матрицы соответствует количеству вопросов теста, при этом, в первом столбце проверочной матрицы содержится номер вопроса, а во втором сгенерированный QR-код ответа на вопрос (см. блок Т2 на фиг. 5).

Подготовленный ответ представляет собой номер вопроса и номер правильного ответа на этот вопрос из числа подготовленных ответов. Затем считывают оптическим сканером (веб-камера, сотовый телефон и пр. устройства) комбинацию цифр, включающую вопрос и номер ответа и для этой комбинации формируют QR-код. Полученные результаты заносят в проверочную матрицу.

В качестве примера на фиг. 3 представлена проверочная матрица, в которой: вопросу №1 соответствует QR-код комбинации цифр 12 (здесь и далее 1 - номер вопроса, 2 - номер варианта правильного ответа на вопрос №1); вопросу №2 соответствует QR-код комбинации цифр 23; вопросу №3 соответствует QR-код комбинации цифр 32; вопросу №4 соответствует QR-код комбинации цифр 41.

3. Задают градацию итоговой оценки (см. блок Т3 на фиг. 5).

Градацию итоговой оценки задают в процентном соотношении правильных ответов от общего их числа.

Например, оценка отлично, если процент правильных ответов превысит значение 85%; хорошо, если процент правильных ответов превысит значение 70%; удовлетворительно, если процент с правильных ответов превысит значение 55%; неудовлетворительно, если процент правильных ответов будет ниже значения 55%.

Если проводимое тестирование направлено на выявление каких-то специфических особенностей тестируемого (психологических, социальных, умственных, физиологических и пр.), то в качестве оценки может выступать степень соответствия той или иной градации.

4. Предъявляют тестируемым одинаковый набор вопросов (см. блок Т4 на фиг. 5).

Количество вопросов может быть любым и определяется проверяющим. Понятие одинакового набора может подразумевать как полную идентичность вопросов у каждого обучаемого, так и равное количество вопросов, но с различным их содержанием.

При этом вопросы и ответы к ним могут быть зачитаны, записаны, представлены на экране монитора и т.д.

5. Тестируемые заносят ответы в стандартные бумажные бланки. При этом ответы, в таблицу ответов, тестируемые заносят путем выставления единиц в том столбце, номер которого соответствует номеру, выбранного ими ответа на вопрос теста (см. блок Т5 на фиг. 5).

Стандартный бумажный бланк может быть любым. При этом он должен содержать служебную часть, где могут указываться информация о теме тестирования, времени тестирования, цели тестирования и пр. В обязательном порядке стандартный бумажный бланк должен содержать таблицу ответов, в которую тестируемые заносят ответы. В таблице ответов число строк соответствует количеству вопросов теста, а количество столбцов в каждой строке выбирают равное числу возможных ответов на соответствующий вопрос теста плюс столбец с номером вопроса.

В качестве примера, на фиг. 1 представлен возможный вариант стандартного бумажного бланка. В нем таблица ответов выделена утолщенными линиями.

В качестве примера, на фиг. 2 представлен возможный вариант стандартного бумажного бланка, с заполненной таблицей ответов.

Аналогичным образом предварительно подготовленные ответы также заносят таблицу ответов на этапе 2.

6. Ответы на вопросы тестируемых автоматически считывают оптическим методом (см. блок Т6 на фиг. 5).

Считывание ответов происходит после заполнения каждым тестируемым своей таблицы ответов. Для считывания ответов на вопросы могут использоваться, например, сканер, подключенный к ЭВМ с установленным стандартным программным обеспечением, поставляемым со сканером, веб-камеры, смартфоны с установленным программным обеспечением или любое цифровое фотографическое устройство (см. 3. патент РФ на изобретение №2689208, G09B 3/06, опубл. 24.05.2019 г.).

7. Обрабатывают считанные ответы, при обработке считанных оптическим методом ответов, из заполненной таблицы ответов, формируют QR-код (см. блок Т7 на фиг. 5).

Формирование QR-кода осуществляют аналогичным этапу 2 способом. То есть сформированный QR-код каждого ответа содержит номер вопроса и номер ответа на данный вопрос, выбранный тестируемым.

Таким образом, в случае правильного ответа на вопрос тестируемым, сформированный на основе его ответа QR-код будет совпадать с QR-кодом предварительно подготовленного ответа на этот вопрос в ходе выполнения этапа 2.

8. Формируют матрицу ответа аналогичным проверочной матрице образом, при этом в первом столбце матрицы ответа записывают номер вопроса, а во втором - сформированный QR-код ответа тестируемого (см. блок Т8 на фиг. 5).

В результате матрица ответа тестируемого будет аналогична проверочной матрице, представленной на фиг. 3.

9. Анализируют сформированную матрицу ответа каждого из тестируемых, путем ее сравнения с предварительно подготовленными ответами. При анализе сформированной матрицы ответа каждого из тестируемых, выявляют соответствие QR-код ответа на вопрос тестируемого с QR-кодом ответа соответствующей строки проверочной матрицы (см. блок Т9 на фиг. 5).

Анализ может быть на основе визуального сравнения QR-кодов сформированной матрицы ответа и проверочной матрицы. В качестве примера на фиг. 4 показаны все варианты ответов на первый вопрос (первый столбец) и соответствующие им QR-коды (второй столбец). Различие QR-кодов указывает на возможность визуальной идентификации их различий.

Анализ ответов может быть реализован на основе распознавания объектов, (см 4. патент РФ №2261476, от 26.01.2004, G06K 9/00, опубл. 27.09.2005 Бюл. №27), (см. 5 патент РФ №2356064, от 27.10.2008, G01S 7/00, опубл. 20.05.2009 Бюл. №14).

10. Выводят итоговую оценку каждому тестируемому, исходя из числа выявленных соответствий QR-кода ответа на вопрос тестируемого с QR-кодом ответа соответствующей строки проверочной матрицы (см. блок Т10 на фиг. 5).

Итоговую оценку каждому тестируемому выводят в соответствии с подходом, рассмотренным на выполнении этапа 3.

Процедуры автоматического считывания ответов оптическим сканером известны см. (патент РФ №2689208, G09B 3/06, опубл. 24.05.2019., Бюл. №15).

Устройства формирования и считывания графического QR-кода известны, см. (патент РФ на полезную модель №139520, G06F 17/40, G06K 19/00, опубл. 20.04.2014., Бюл. №11).

Изобретение относится к области технологий компьютерного тестирования при обучении и подготовке специалистов для различных отраслей знаний и специальностей, а также при проведении социальных и психологических опросов. Техническим результатом заявляемого способа является повышение уровня автоматизации процесса обработки, что приведет к снижению времени, требуемого для обработки результатов тестирования, и повышение защищенности представления результатов тестирования при сохранении возможности их анализа без применения дополнительных процедур. Технический результат достигается благодаря предварительной подготовке проверочной матрицы, содержащей QR-коды ответа на вопросы, представлении ответов в виде выставленных единиц в том столбце специально подготовленных таблиц ответов стандартных бумажных бланков, номер которого соответствует номеру выбранного ими ответа на вопрос теста, представлении ответов тестируемых, считанных оптическим методом, в виде QR-кодов, из которых формируют матрицу ответа каждого тестируемого, а также выставлении итоговой оценки каждому тестируемому по результатам выявления соответствий QR-кодов матрицы ответа каждого тестируемого с QR-кодами проверочной матрицы. 5 ил.

Способ проведения экспресс-тестирования знаний обучаемых и обработки его результатов, заключающийся в том, что предварительно подготавливают ответы, которые хранят в ЭВМ, задают градацию итоговой оценки, предъявляют тестируемым одинаковый набор вопросов, причем тестируемые заносят ответы в стандартные бумажные бланки, затем ответы на вопросы тестируемых автоматически считывают оптическим методом, обрабатывают считанные ответы, формируют матрицу ответа каждого из тестируемых, анализируют сформированную матрицу ответа каждого из тестируемых, путем ее сравнения с предварительно подготовленными ответами и по результатам анализа выводят итоговую оценку каждому тестируемому, отличающейся тем, что предварительно подготовленные ответы записывают в проверочную матрицу, которая содержит два столбца, а число строк проверочной матрицы соответствует количеству вопросов теста, при этом в первом столбце проверочной матрицы содержится номер вопроса, а во втором сгенерированный QR-код ответа на вопрос, стандартный бумажный бланк, в который тестируемые заносят ответы, формируют в виде таблицы ответов, число строк которой соответствует количеству вопросов теста, а количество столбцов в каждой строке выбирают равное числу возможных ответов на соответствующий вопрос теста плюс столбец с номером вопроса, при этом ответы в таблицу ответов тестируемые заносят путем выставления единиц в том столбце, номер которого соответствует номеру выбранного ими ответа на вопрос теста, при обработке считанных оптическим методом ответов из заполненной таблицы ответов формируют QR-код, а матрицу ответа каждого тестируемого формируют аналогичным формированию проверочной матрицы образом, при этом в первом столбце матрицы ответа записывают номер вопроса, а во втором - сформированный QR-код ответа тестируемого, при анализе сформированной матрицы ответа каждого из тестируемых, выявляют соответствие QR-код ответа на вопрос тестируемого с QR-кодом ответа соответствующей строки проверочной матрицы, итоговую оценку каждому тестируемому выводят исходя из числа выявленных соответствий QR-кода ответа на вопрос тестируемого с QR-кодом ответа соответствующей строки проверочной матрицы.