Система критериально-ориентированного тестирования Российский патент 2018 года по МПК G09B7/00 

Изобретение относится к области образовательных систем с компьютерными технологиями.

Оно может использоваться как самостоятельно действующая система, так и в сочетании с традиционными образовательными методиками.

Известен прибор контроля знаний по патенту РФ №2110096, кл. G09B 7/07 с приоритетом 25.03.1994 года, в котором реализовано присвоение весовых коэффициентов каждому вопросу теста, подача теста обучающимся, последующее сравнение их ответов с правильными и индикация результатов.

К недостаткам этого прибора относится возможность простого бесконтрольного угадывания ответов, а также жесткая априорная однозначность оценки сложности вопросов, которая не учитывает различную подготовленность контингента обучающихся.

Известна система рейтингового тестирования по патенту РФ №2175782 с приоритетом от 04.02.2001 года. Эта система отличается тем, что тестирование осуществляют по нескольким дисциплинам, часть которых профильные, а индивидуальный итоговый рейтинг обучающихся вычисляют по совокупности максимальных результатов тестирования. Полученный индивидуальный рейтинг сравнивают с нормативами соответствия учебных планов для характеристики готовности к следующему этапу обучения.

Известна система рейтингового тестирования уровня подготовки к обучению в высшем учебном заведении по патенту РФ №2145442 с приоритетом от 28.05.1998 г. Эта система включает присвоение весовых коэффициентов каждому вопросу теста, подачу теста обучающемуся, последующее сравнение его ответов с правильными, индикацию результатов, причем весовые коэффициенты вопросов могут быть изменены в процессе тестирования. Следствием работы системы является дополнительная проверка обоснованности и корректности ответа на вопрос теста.

Недостатки такой системы связаны с отсутствием случайной последовательности выдачи тестов и возможности обработки нестандартных ответов обучаемого, и как следствие этого - неадекватность оценки его знаний.

Наиболее близким техническим решением предлагаемого изобретения является система рейтингового тестирования по патенту РФ №2356100 с приоритетом от 21.06.2005 г. Эта система тестирования генерирует случайную последовательность вопросов, формирующих тест, и случайную выборку из множественности ответов на каждый вопрос в тесте. На основе этой информации обучающийся выбирает все представленные правильные ответы. В системе используются нормативно-ориентированные тесты и методы оценки их результатов [1]. При проведении нескольких контролей по одному и тому же тесту система обеспечивает выбор результирующей оценки по списку ответов, представленному набором различных вариантов правильных и неправильных ответов.

Недостатком такой системы является отсутствие возможности оценить, преодолел ли испытуемый определенный порог усвоения учебного материала рассматриваемой учебной программы или ее части и, как следствие этого, невозможность оперативности текущего педагогического контроля, который возможен при использовании критериально-ориентированных тестов и методов оценки результатов их выполнения [1].

Техническим результатом изобретения является повышение эффективности обучения и достоверности определения уровня и качества знаний обучаемого, возможность управления в режиме реального времени процессом выполнения системы одиночных критериально-ориентированных тестовых заданий с единственным верным ответом, обеспечивающим остановку тестирования при достижении заданной достоверности оценки его результатов.

Указанный технический результат достигается тем, что в известную систему рейтингового тестирования уровня подготовки обучающихся, включающую подачу теста обучающимся, последующее сравнение ответов обучающихся с правильными ответами, индикацию результата, экспертную систему формирования тестов, диагностики и тестирования, включающую генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, согласно изобретению в экспертную систему дополнительно введен расчетный модуль, обеспечивающий в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий.

Система критериально-ориентированного тестирования построена на основе принципов построения интегрированных информационных систем, позволяющих повысить эффективность контроля знаний и качество образования как творческого процесса приобретения и усвоения знаний.

Все элементы системы критериально-ориентированного тестирования являются типовыми устройствами вычислительной техники.

В качестве показателя достижения заданной достоверности результата тестирования в предлагаемой системе критериально-ориентированного тестирования используется наперед заданное значение ширины доверительного интервала (заданная точность) вероятности правильного выполнения тестового задания (ТЗ). Процедура управления тестированием, позволяющая останавливать процесс тестирования после получения результата p_i заданной точности δ^зад , поясняется алгоритмом управления тестированием, представленным на фиг. 1.

Реализация приведенного алгоритма заключается в следующем:

1) По формуле [2] определяется достигнутое значение вероятности p_i успешного выполнения ТЗ (где i - номер последнего выполненного ТЗ).

2) По формуле [2] определяется верхняя и нижняя граница доверительного интервала (ДИ) результата p_i (где i - число ТЗ, k - число ошибок, a - квантиль порядка а распределения F с степенями свободы)

3) Остановка процесса тестирования осуществляется по критерию [3]

где I_i - показатель сравнения заданной и достигнутой точности результатов тестирования (I_i=1 - останов тестирования; I_i=0 - продолжение тестирования).

На фиг. 2 представлена блок-схема системы критериально-ориентированного тестирования. Схема содержит следующие функциональные блоки: рабочие места преподавателя 1 и обучаемых 2, блок тестирования знаний 3, блок документирования 4.

Блоки 1 и 2 (фиг. 3) содержат персональный компьютер 5, РС-клавиатуру 6, манипуляторы «мышь» 7, микрофон 8 и головной телефон 9.

Блок 3 (фиг. 4) включает экспертную систему формирования тестов, диагностики и тестирования. Блок 3 позволяет организовать стратегию критериально-ориентированного тестирования и содержит генератор тестов 10, использующий датчик случайных чисел, систему объяснения 11, базу данных тестов и результатов тестирования 12, расчетный модуль 13, в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий.

Блок документирования 4 (фиг. 5) получает информацию от блока тестирования знаний 3. Блок документирования содержит два модуля. Первый модуль 14 обеспечивает документирование результатов тестирования на основе автоматического формирования электронных ведомостей, содержащих общие сведения о результатах тестирования. Второй модуль 15 формирует соответствующие протоколы для каждого обучаемого.

Процесс тестирования состоит в выполнении циклов тестирования, связанных с последовательным предъявлением обучаемому различных тестов (пример теста - фиг. 6), анализом представленных решений и оценкой знаний.

Функционирование системы критериально-ориентированного тестирования в целом осуществляется с рабочего места преподавателя 1 и на основе алгоритма функционирования описывается следующим образом.

После включения системы осуществляется:

1. Регистрация обучаемого и присвоение ему идентификатора (номера) .

2. Определение порядкового номера предъявляемого ТЗ i=i+1 (i - номер тестового задания (ТЗ), в начальный момент принимается равным нулю).

3. Случайный выбор из набора тестовых заданий i-го ТЗ (осуществляется выбор предъявляемого ТЗ из имеющегося множества невыполненных ТЗ и производится исключение избранного ТЗ из числа невыполненных ТЗ).

4. Предъявление ТЗ a_i обучаемому.

5. Восприятие избранного обучаемым варианта ответа на ТЗ a_i (определение номера k варианта суждения, выбранного обучаемым).

6. Восприятие эталонного варианта ответа на ТЗ a_i (выбор из базы данных теста номера k_эт правильного суждения на выполняемое ТЗ).

7. Проверка соответствия номера k суждения обучаемого номеру k_эт правильного суждения (Если суждение обучаемого соответствует эталонному, то ТЗ выполнено верно - балл r_i оценки за выполнение ТЗ r_i=1. Если суждение обучаемого не соответствует эталонному, то ТЗ выполнено неверно - балл r_i оценки за выполнение ТЗ r_i=0).

8. Расчет суммы баллов, набранных за выполнение всех ТЗ.

9. Оценка вероятности p_i правильного выполнения ТЗ после выполнения ТЗ a_i (Рассчитывается по формуле , где i - номер последнего выполненного ТЗ).

10. Оценка верхней и нижней границ доверительного интервала p_i после выполнения ТЗ a_i (Оценки производятся по формуле:

где i - число ТЗ, k - число ошибок, a - квантиль порядка α распределения F с степенями свободы).

11. Проверка условия завершения тестирования - определение показателя I_i достоверности результатов тестирования (Расчет производится по формуле:

где δ^зад - наперед заданное значение предельно возможного отклонения оценки p_i вероятности правильного выполнения ТЗ. В случае I_i=1 производится остановка тестирования и утверждение p_i в качестве оценки j-го обучаемого. В случае I_i=0 продолжение тестирования (переход к пункту 2).

12. Сохранение информации о тестировании.

13. Документирование результатов тестирования.

Источники информации

1. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. - М.: Центр тестирования и развития «Гуманитарные технологии», 2009. URL: http://www.ege.ru/dict/dict1.htm.

2. Палкин С.К., Печников А.Н., Печников Д.А. Метод интервальной оценки результатов выполнения системы одиночных тестовых заданий закрытого типа с единственным верным ответом // Образовательные технологии и общество (международный электронный журнал). - 2014. - Том 17, №2. - С. 491-501 URL: http://ifets.ieee.org/russian/.

3. Палкин С.К., Печников А.Н., Печников Д.А. Метод управления длиной системы одиночных тестовых заданий с единственным верным ответом // Образовательные технологии и общество (международный электронный журнал). - 2015. - Том 18, №1. - С. 544-560 URL: http://ifets.ieee.org/russian/.

Изобретение относится к системе критериально-ориентированного тестирования в режиме реального времени и производит оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий. Система тестирования включает подачу теста обучающимся, сравнение ответов обучающихся с правильными ответами, индикацию результата, экспертную систему формирования тестов, диагностики и тестирования, включающую генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, расчетный модуль, обеспечивающий в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий. Заявленная система направлена на повышение адекватности оценки знаний тестируемого, при этом система обеспечивает повышение эффективности обучения и достоверности определения уровня и качества знаний тестируемого. 6 ил.

Система критериально-ориентированного тестирования, включающая подачу теста обучающимся, последующее сравнение ответов обучающихся с правильными ответами, индикацию результата, экспертную систему формирования тестов, диагностики и тестирования, включающую генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, отличающаяся тем, что в экспертную систему дополнительно введен расчетный модуль, обеспечивающий в режиме реального времени оценку достоверности результатов сравнения текущего и критериального значений принятых показателей вероятности успешного выполнения тестовых заданий.