УСТРОЙСТВО ДЛЯ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТНЫХ СИСТЕМ Российский патент 2012 года по МПК G09B7/00 

Изобретение относится к автоматике и вычислительной технике и может быть использовано для оценки качества экспертных систем.

Устройства для оценки ответов учащихся (т.е. качества экспертных систем) широко известны. Они представляют собой устройства (авторское свидетельство СССР 826391, 1981 г.), сравнивающие ответы, поступающие на вопросы, с эталонными. Устройства фиксируют правильные ответы и, в зависимости от количества правильных ответов относительно общего числа вопросов, оценивают учащихся.

Для повышения точности оценки осуществляется учет сложности вопросов и уверенности ответов. Это достигается путем корректирования суммы весов правильно отвеченных вопросов в соответствии со сложностью вопросов и уверенностью ответов.

Наиболее близким по технической сущности к заявляемому устройству является устройство для оценки ответов учащихся, принятое за прототип (авторское свидетельство СССР 830501, 1981 г.). Устройство содержит блок анализа ответа, дешифратор кодов задания, дешифратор вопросов, формирователь коэффициентов сложности вопросов, формирователь импульсов, дешифратор кодов сложности вопросов, два счетчика, распределитель импульсов, блок адаптивного формирования оценки, индикатор оценки, дешифратор кода уверенности ответа, причем блок анализа ответа соединен с дешифратором кодов задания, дешифратором вопросов и формирователем коэффициентов сложности вопросов. Формирователь коэффициентов сложности вопросов соединен с формирователем импульсов, дешифратором кодов сложности вопросов и первым счетчиком. Блок адаптивного формирования оценки соединен с первым счетчиком, дешифратором кодов задания и индикатором оценки. Распределитель импульсов соединен с блоком анализа ответа, формирователем импульсов, дешифратором кода уверенности ответа и вторым счетчиком, подключенным к блоку адаптивного формирования оценки.

Недостатком прототипа является отсутствие учета степени грубости совершенной ошибки при оценке качества экспертных систем, а следовательно, грубые и незначительные ошибки воспринимаются устройством одинаково.

Цель настоящего предложения состоит в обеспечении учета степени грубости каждой из совершенных ошибок при оценке качества экспертных систем.

Поставленная цель достигается тем, что в устройство дополнительно введены дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения.

При ответе на вопрос экспертная система (в том числе обучаемый) выбирает ответ из ряда предложенных альтернатив. Качественно результат такого выбора может быть описан кодом ошибки Q_i∈{1, 2, 3,…, N}, где i - номер вопроса, а коды от 1 до N имеют, например, при N=4 следующий смысл:

«1» - правильный ответ;

«2» - незначительная ошибка;

«3» - значительная ошибка;

«4» - грубая ошибка.

Количественно качество ответа может быть описано коэффициентом ошибки K_OШ__i. При уверенном ответе на вопрос (вероятность правильности выбранной альтернативы выше пороговой) коэффициент ошибки может принимать, например, следующие значения

При неуверенном ответе (вероятность правильности выбранной альтернативы ниже пороговой, но является выше, чем каждой из остальных) на вопрос коэффициент ошибки может принимать, например, следующие значения

Таким образом, количество «баллов», набранных за ответ на i-й вопрос с учетом грубости совершенной ошибки, определяется как K_OШ__i*K_СЛОЖН__i, где K_СЛОЖН__i - коэффициент сложности вопроса.

Структурная схема заявляемого устройства представлена на Фиг.1.

Устройство для оценки качества экспертных систем состоит из блока 1 анализа ошибок, первый и второй входы которого соединены соответственно с вторым выходом дешифратора 2 кодов задания и выходом дешифратора 3 кодов вариантов ошибок, на входы которых подаются соответствующие составляющие кода ответа на вопрос. Второй выход блока 1 анализа ошибок соединен с вторым входом формирователя 4 коэффициентов сложности вопросов, первый вход которого соединен с выходом дешифратора 5 кодов сложности вопросов, на вход которого подается соответствующая составляющая кода ответа на вопрос. Первый выход блока 1 анализа ошибок соединен с вторым входом формирователя 6 коэффициентов ошибок, первый вход которого соединен с выходом дешифратора 7 кода уверенности ответа, на вход которого подается соответствующая составляющая кода ответа на вопрос. Выход формирователя 6 коэффициентов ошибок соединен с первым входом блока 8 умножения, второй вход которого соединен с выходом формирователя 4 коэффициентов сложности вопросов и входом счетчика 9, выход которого соединен с первым входом блока 10 адаптивного формирования оценки, второй вход которого соединен с выходом счетчика 11, вход которого соединен с выходом блока 8 умножения. Третий вход блока 10 адаптивного формирования оценки соединен с первым выходом дешифратора 2 кодов задания, а выход соединен с входом индикатора 12 оценки.

Устройство работает следующим образом. На вход устройства оценки качества экспертных систем подается код ответа на вопрос, содержащий код уверенности ответа, код задания, код сложности вопроса и код вариантов ошибок, показывающий степень грубости ошибки (от «правильный ответ» до «грубая ошибка») для каждого из альтернативных вариантов ответов. Эти коды поступают на соответствующие дешифраторы 7, 2, 5 и 3. В результате на выходе дешифратора 7 уверенности ответа будет код уверенности ответа (0 -«неуверен» или 1 - «уверен»), на втором выходе дешифратора 2 кодов задания будет код варианта ответа, на выходе дешифратора 3 кодов вариантов ошибок будут коды ошибок для всех вариантов ответов (эталон), на выходе дешифратора 5 кодов сложности вопросов - код сложности текущего вопроса. В блоке 1 анализа ошибок выбранный вариант ответа сравнивается с кодами вариантов ошибок и определяется код ошибки Q_i полученного ответа.

При поступлении на второй вход формирователя 4 коэффициентов сложности вопросов кода ошибки ответа на i-й вопрос Q_i последний на основании кода сложности вопроса с дешифратора 5 кодов сложности вопросов формирует коэффициент сложности текущего вопроса K_СЛОЖН__i, соответствующий «весу» вопроса.

На основании поступающего на второй вход формирователя 6 коэффициентов ошибок кода ошибки ответа на 1-й вопрос Q_i последний в зависимости от кода уверенности ответа (1 - "уверен", 2 - "неуверен"), который поступает на первый его вход, формирует коэффициент ошибки i-го вопроса K_ОШ__i, причем в зависимости от уверенности ответа

Значения коэффициентов и выставляются заранее.

В блоке 8 умножения полученные коэффициенты K_СЛОЖН__i, и K_ОШ__i перемножаются и полученное новое значение, соответствующее «баллам» за выданный на i-й вопрос ответ, поступает на суммирующий (если величина положительна) или вычитающий (если величина отрицательна) вход счетчика 11, на выходе которого формируется сигнал, соответствующий общему количеству «баллов», набранных за ответы на все поставленные вопросы.

Счетчик 9 суммирует все коэффициенты сложности вопросов, формируется сигнал, соответствующий K_СЛОЖН__i, и на его выходе формируется сигнал, соответствующий сумме весов всех поставленных вопросов.

При ответе на последний вопрос в дешифраторе 2 на основании кода этого вопроса, в котором есть информация о том, что это последний вопрос теста, вырабатывается сигнал номера последнего вопроса. Этот сигнал поступает в блок 10 адаптивного формирования оценки, который по его поступлении на основании суммы «весов» всех вопросов с счетчика 11, суммы «баллов» набранных за ответы на эти вопросы и соотношения, задаваемого в самом блоке 10, формирует итоговую оценку. Визуализацию полученной оценки осуществляет индикатор 12 оценки.

Для предотвращения повторных ответов на вопросы в дешифраторе 2 кодов задания предусмотрено запоминание кодов отвеченных вопросов.

Таким образом, предлагаемое устройство позволяет осуществлять оценку качества экспертных систем с учетом как сложности вопросов и уверенности ответов на них, так и степени грубости допускаемых при ответах ошибок.

Заявитель просит рассмотреть представленные материалы на предмет выдачи патента РФ на изобретение.

Изобретение относится к автоматике и вычислительной технике и может быть использовано для оценки качества экспертных систем. Техническим результатом является повышение точности оценки качества экспертных систем за счет учета степени грубости каждой из совершенных ошибок. Устройство содержит блок анализа ответа, дешифратор кодов задания, дешифратор вопросов, формирователь коэффициентов сложности вопросов, формирователь импульсов, дешифратор кодов сложности вопросов, два счетчика, распределитель импульсов, блок адаптивного формирования оценки, индикатор оценки, дешифратор кода уверенности ответа, дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения. 1 ил.

Устройство для оценки качества экспертных систем, содержащее дешифратор кода уверенности ответа, дешифратор кодов задания, дешифратор кодов сложности вопросов, формирователь коэффициентов сложности вопросов, два счетчика, блок адаптивного формирования оценки и индикатор оценки, причем на входы дешифраторов кода уверенности ответа, кодов задания и кодов сложности вопросов подаются соответствующие составляющие кода ответа на вопрос, выход дешифратора кодов сложности вопросов соединен с первым входом формирователя коэффициентов сложности вопросов, выход которого соединен с входом первого счетчика, выход которого соединен с первым входом блока адаптивного формирования оценки, второй и третий входы которого соединены с выходом второго счетчика и первым выходом дешифратора кодов задания соответственно, а выход соединен с индикатором оценки, отличающееся тем, что дополнительно введены дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения, причем первый и второй входы блока анализа ошибок соединены соответственно с вторым выходом дешифратора кодов задания и выходом дешифратора кодов вариантов ошибок, на вход которого подается соответствующая составляющая кода ответа на вопрос, второй выход блока анализа ошибок соединен с вторым входом формирователя коэффициентов сложности вопросов, а первый его выход соединен с вторым входом формирователя коэффициентов ошибок, первый вход которого соединен с выходом дешифратора кода уверенности ответа, а выход - с первым входом блока умножения, второй вход которого соединен с выходом формирователя коэффициентов сложности вопросов и входом первого счетчика, а выход соединен с входом второго счетчика.