СПОСОБ И СИСТЕМА ТЕСТИРОВАНИЯ Российский патент 2016 года по МПК G06F17/00 

Техническое решение относится к методам и устройствам цифровых вычислений и обработки данных, специально предназначенных для специфических функций, а именно к технологии тестирования, испытаний и контроля совокупности показателей объектов.

Известно, что при корректном использовании тестирование является эффективным инструментом контроля статуса и качества различных объектов. География распространения тестов весьма обширна. Тестирование широко применяется в различных областях: образование (обучение) [2, 5, 13-15, 19, 20], оценка профпригодности [1-6, 10], здравоохранение (медицина, оценка качества жизни) [7-9], криминалистика [21], техника и производство (техническая квалиметрия, оценка технического уровня и качества продуктов) [16, 17], управление [5, 6], экономика [11, 12], бизнес [11,18].

При этом известные к настоящему времени способы и устройства тестирования повсеместно сводятся в основном к разработке уникальных (единственных в своем смысловом кластере) шкал показателей и дальнейшему анализу и интерпретации полученных суммарных показателей (атрибутов) объектов, которые носят, как правило, качественную (балльную) оценку. Исходные показатели объектов для интегральной оценки могут быть определены как с помощью измерений, так и посредством специальных вопросников (анкет).

Анализ уровня техники [1-21] и многих других источников показывает, что известные тесты существенно отличаются друг от друга при тестировании различных категорий объектов. Как правило, способы и устройства тестирования имеют специфику, обусловленную конкретной задачей и определенной (уникальной) областью применения теста, что делает невозможным их использование в другой области. Большинство известных опубликованных тестов предназначены в основном для «ручного» вычисления (расчета), достаточно сложны, а декларируемое упрощение и повышение точности подчас оборачивается противоположностью: ошибками, запутанностью, «непрозрачностью» (трудностью понимания), что приводит в конечном счете к неудобству, затруднениям (или даже невозможности) в практическом промышленном применении. Несмотря на то что тестирование в принципе имеет прогностический, во многом субъективный характер, видимость точности (используются сотые и даже тысячные доли баллов) и валидности цифровых значений показателей объектов и критериев (уровней) градуировки результатов теста часто камуфлирует их субъективность и маскируется «научной обоснованностью».

При этом известные «конкретные» тесты ограничены при редактировании и адаптации, требуют представительного эмпирического и статистического подтверждения, а экспрессность получения их результатов, в ряде случаев (например, при многочисленности тестируемых объектов), недостаточна.

В связи с этим возникает задача унификации общей процедуры тестирования и по возможности более полной формализации основных блоков структуры тестов.

Ближайшими аналогами являются [1, 2], из которых способ и система тестирования [1] по патенту US 7917449 В2 могут быть приняты за прототип.

В известном способе [1] тестирования определяют группы показателей объекта тестирования и перечень показателей в каждой группе, формируют балльную оценку совокупности показателей объекта тестирования в каждой группе, производят обработку всей полученной совокупности показателей и осуществляют интерпретацию результатов тестирования состояния объекта путем вынесения суждения о его статусе по градуированной шкале уровней атрибутов.

Известная система [1] тестирования выполнена на базе аппаратурно-программных средств вычислительной техники и содержит соединенные информационной и управляющей шинами блок входных данных - показателей тестируемого объекта (блок ВД), блок формирования матрицы данных (блок ФМД), блок памяти, блок обработки данных (блок ОД), блок формирования оценки и интерпретации результатов тестирования (блок ФОР) и блок отображения результатов тестирования (блок ОРТ), при этом блок ВД включает устройство ввода измеренных значений показателей (характеристик) тестируемого объекта и устройство ввода показателей из вопросника.

В силу своей спецификации функциональные возможности способа и системы [1] ограничены оценкой профессионального соответствия (профпригодности) тестируемых индивидуумов, и их применение в других областях (образование, медицина, техника и др.) невозможно. Технология [1] может использоваться только совместно с сетью Интернет и не может быть адаптирована (отредактирована) индивидуально пользователями.

Сущность предлагаемого технического решения заключается в создании обобщенной (унифицированной) структуры теста путем приведения разнородных видов (типов) тестов к единообразию и стандартизации (формализации) процедуры обработки и интерпретации результатов тестирования, являющихся «ядром» теста, а также в реализации предложенной технологии в унифицированном устройстве тестирования.

Основной технический результат - расширение функциональных возможностей способа и системы тестирования. Синергия унификации ядра теста, включающего экспертную систему обработки и интерпретации данных тестирования, и реализация на базе вычислительных средств позволяет использовать предложенное техническое решение в качестве универсального средства экспресс-тестирования различных типов объектов (биологических индивидуумов, их групп и объединений, продуктов, технических объектов) в разных областях (практически во всех) деятельности (образование, здравоохранение, производство, квалиметрия, социальная среда). Техническое решение с унифицированной шкалой уровней атрибутов, в отличие от известных аналогов, допускает редактирование и модификацию тестов путем манипуляции (изменения) входных данных, не затрагивая ядра теста и не искажая результатов тестирования.

Технический результат в способе тестирования достигается следующим образом.

Определяют группы показателей объекта тестирования и перечень показателей в каждой группе, формируют балльную оценку совокупности показателей объекта тестирования в каждой группе, производят обработку всей полученной совокупности показателей и осуществляют интерпретацию результатов тестирования состояния объекта путем вынесения суждения о его статусе по градуированной шкале уровней атрибутов.

Отличительная особенность способа заключается в том, что обработку всей полученной совокупности показателей проводят путем определения интегрального индекса обобщенной оценки А в соответствии с выражением

где P_n - количество баллов (балльная оценка) за каждый n-й вопрос в m-й группе показателей;

m - число групп показателей;

n - число показателей в группе;

N_n - коэффициент выравнивания (нормирования) между группами показателей, определяемый максимальным количеством баллов P_max за каждый из n показателей в каждой m-й группе:

При этом интерпретацию результатов тестирования осуществляют по интервалам I шкалы S градуировки, соответствующим уровням качественной оценки атрибутов тестируемого объекта и определяемым выражением

где I - балльный размер интервала;

S - шкала градуировки результатов тестирования для их интерпретации;

K - количество интервалов (уровней) градуировки, каждому из которых присваивается качественная оценка;

A_max, A_min - определяемые эмпирически границы шкалы S градуировки, соответствующие максимальному A_max и минимальному A_min значениям интегрального индекса A обобщенной оценки результатов тестирования.

Отличием способа является то, что в качестве тестируемого объекта используют технические объекты или биообъекты, например человека.

При этом показатели объекта определяют путем измерений параметров (характеристик) объекта и/или посредством вопросника (анкетирования).

Способ также отличается тем, что шкалу градуировки принимают линейной с возрастанием количества баллов, уровней качественной оценки и степени выраженности тестируемого атрибута.

В частном случае выполнения способа для интерпретации результатов тестирования объекта путем вынесения суждения о его статусе используют приведенную 100-балльную шкалу градуировки, при этом количество интервалов шкалы градуировки выбирают равным от двух до шести, по меньшей мере двум, предпочтительно четырем.

Технический результат реализующей способ системы достигается следующим образом.

Система тестирования выполнена на базе аппаратурно-программных средств вычислительной техники и содержит соединенные информационной и управляющей шинами блок входных данных - показателей тестируемого объекта (блок ВД), блок формирования матрицы данных (блок ФМД), блок памяти, блок обработки данных (блок ОД), блок формирования оценки и интерпретации результатов тестирования (блок ФОР) и блок отображения результатов тестирования (блок ОРТ), при этом блок ВД включает устройство ввода измеренных значений показателей (характеристик) тестируемого объекта и устройство ввода показателей из вопросника.

Отличительная особенность системы заключается в том, что система тестирования выполнена унифицированной для различных технических и биологических объектов тестирования, при этом блок ОД выполнен в виде вычислительного устройства, реализующего алгоритм обработки всей полученной совокупности показателей путем определения интегрального индекса обобщенной оценки А в соответствии с выражением

где P_n - количество баллов (балльная оценка) за каждый n-й вопрос в m-й группе показателей;

m - число групп показателей;

n - число показателей в группе;

N_n - коэффициент выравнивания (нормирования) между группами показателей, определяемый максимальным количеством баллов P_max за каждый из n показателей в каждой m-й группе:

При этом блок ФОР выполнен в виде вычислительного устройства, реализующего алгоритм вычисления интервалов I шкалы S градуировки, соответствующих уровням качественной оценки атрибутов тестируемого объекта и определяемых выражением

где I - балльный размер интервала;

S - шкала градуировки результатов тестирования для их интерпретации;

K - количество интервалов (уровней) градуировки, каждому из которых присваивается качественная оценка;

A_max, A_min - определяемые эмпирически границы шкалы S градуировки, соответствующие максимальному A_max и минимальному A_min значениям интегрального индекса A обобщенной оценки результатов тестирования.

Отличием системы является то, что блок ФМД выполнен с возможностью формирования m групп показателей (характеристик) n объекта тестирования, а также перечня из n показателей в каждой m-й группе с соответствующей балльной оценкой P_n каждого из n показателей.

Система также отличается тем, что блок ФОР формирует линейную шкалу градуировки результатов тестирования с возрастанием количества баллов, уровней качественной оценки и степени выраженности тестируемого атрибута, при этом количество интервалов (уровней) шкалы градуировки выбирается равным от двух до шести, по меньшей мере двум, предпочтительно четырем.

Кроме того, система отличается тем, что блок ФОР формирует приведенную R-балльную шкалу градуировки в соответствии с выражением

где A_R - балльная оценка по приведенной R-балльной шкале градуировки.

В конкретных случаях реализации системы блоки ФМД, ОД и ФОР могут быть выполнены в виде программируемого процессора.

При этом блок ОРТ выполнен с возможностью отображения качественной оценки атрибутов тестируемого объекта как по показателям каждой группы, так и по всей совокупности показателей групп (интегральная оценка тестируемого объекта).

На чертеже представлена общая конструктивная схема унифицированной вычислительной системы, осуществляющей способ тестирования, где приняты следующие обозначения:

1 - блок входных данных (блок ВД);

1.1- устройство ввода измеренных показателей блока ВД;

1.2 - устройство ввода показателей из вопросника блока ВД;

2 - блок формирования матрицы данных (блок ФМД);

3 - блок обработки данных (блок ОД);

4 - блок формирования оценки и интерпретации результатов тестирования (блок ФОР);

5 - блок памяти;

6 - блок отображения результатов тестирования (блок ОРТ);

7 - информационная и управляющая шины.

Работа унифицированной системы по осуществлению способа тестирования заключается в следующем.

Блоком 1 ВД задаются измеренные показатели (устройство (1.1) и/или показатели из вопросника (устройство 1.2). Входными данными для блока 2 ФМД являются балльные оценки P_n совокупности из n показателей (характеристик) объекта тестирования в каждой m-й группе показателей, при этом показатели группируются в смысловые кластеры. Поскольку в качестве тестируемых объектов используются как технические объекты, так и биообъекты, то, например, кластеры показателей качества технических объектов (устройств, систем, комплексов) [16, 17] могут группироваться по критерию «сложность - стоимость - эффективность (технический результат)», а кластеры показателей социальной сферы могут группироваться в кластеры показателей профпригодности [1, 2, 10], в кластеры показателей знаний и навыков [3-6, 13-15, 19-21], в кластеры психогенеза, социогенеза и соматогенеза при комплексных тестах качества жизни [7 - 9] и т.п. Блок 2 ФМД выполнен с возможностью формирования m групп показателей (характеристик) n объекта тестирования, а также перечня из n показателей в каждой m-й группе с соответствующей балльной оценкой P_n каждого из n показателей и формирует матрицу балльных оценок P_n показателей n в каждой m-й группе (например, по технологии, описанной в [1-4]) вида:

По входным данным m, n, P_n матрицы данных, сформированных блоком 2 ФМД, блок 3 ОД реализует алгоритм обработки всей полученной совокупности показателей путем определения интегрального индекса обобщенной оценки А в соответствии с выражениями (1) и (2), при этом в каждой m-й группе показателей определяется максимальное количество баллов Р_mах за каждый из n показателей. Поскольку в известных отдельных (уникальных) тестах число Р_mах может варьироваться довольно широко: от 4-5 [7 - 9] до 100 (и даже 1000) [20], то в предложенной унифицированной технологии тестирования (в блоке 3 ОД) производится выравнивание (нормирование) между группами показателей посредством коэффициента выравнивания N_n, определяемого выражением (2).

Блок 4 ФОР обеспечивает формирование оценки и интерпретации результатов тестирования путем реализации алгоритма вычисления интервалов I шкалы S градуировки, соответствующих уровням качественной оценки атрибутов тестируемого объекта и определяемых выражением (3), где максимальное A_max и минимальное A_min значения интегрального индекса А определяются, как правило, эмпирически в процессе тестирования (см., например [2, 7-10]). Блок 4 ФОР формирует линейную шкалу градуировки результатов тестирования с возрастанием количества баллов, уровней качественной оценки и степени выраженности тестируемого атрибута, при этом количество интервалов (уровней) шкалы градуировки выбирается равным от двух до шести, по меньшей мере двум, предпочтительно четырем. Количество уровней шкалы градуировки определяется в зависимости от требуемой подробной (более частностной) оценки, при этом блок 4 ФОР в целях унификации различных типов тестов может формировать приведенную R-балльную шкалу градуировки в соответствии с выражением (4).

В известных тестах используются весьма разнообразные балльные шкалы градуировки (R=2, 3, 4, 5,…,20,…,100,…,1000) и различное количество уровней градуировки:

- два уровня (бинарная шкала): «хорошо-плохо» («есть-нет»);

- трехступенчатая шкала уровней: «низкий, средний, высокий»;

- четырехступенчатая шкала уровней: «отлично, хорошо, удовлетворительно, неудовлетворительно»;

- шкала из пяти уровней: «низкий, ниже среднего, средний, выше среднего, высокий»;

- шкала из 6 уровней (см., например, тест PISA [20] Программы международного оценивания обучающихся и рейтинга университетов).

С целью унификации процедуры тестирования может быть предложена наиболее распространенная приведенная 100-бальная шкала градуировки, а количество интервалов шкалы предпочтительно выбирать равным четырем (наиболее распространенная 4-ступенчатая шкала уровней качественной оценки и степени выраженности тестируемого атрибута в обучении [1-6, 13-15, 20], здравоохранении [7-9] и социально-производственной сфере [10-12, 16-19, 21]).

Конструктивно блок 2 ФМД, а также являющиеся унифицированным ядром системы тестирования блоки 3 и 4 ОД и ФОР могут быть выполнены в виде программируемого процессора. Блок 5 служит для хранения всех необходимых данных (в том числе вопросников) и результатов тестирования. Блок 6 ОРТ выполнен с возможностью отображения качественной оценки атрибутов тестируемого объекта как по показателям каждой группы, так и по всей совокупности показателей групп (интегральная оценка тестируемого объекта).

Анализ большого числа уникальных (узкоспециализированных) тестов [1-21] показывает, что все они являются частными случаями предложенной унифицированной (обобщенной) технологии тестирования и могут быть получены при использовании универсального ядра теста (блоков 3 и 4 ОД и ФОР) для конкретных входных данных, обусловленных спецификой тестирования. В качестве примеров узкоспециальных тестов, являющихся частными случаями предложенной унифицированной технологии тестирования? могут быть приведены тесты [2-4, 7-10] и др. Например, тест [7] оценки качества жизни является частным случаем предложенной технологии тестирования при входных данных: число m=3 групп показателей при числе n=156 показателей психогенеза, числе n=48 показателей в группах соматогенеза и социогенеза, балльная оценка каждого показателя n - от 0 до 3, 100-балльная шкала градуировки принята бинарной.

Таким образом, из описания системы, осуществляющей способ тестирования, и ее работы следует, что достигается ее назначение с указанным техническим результатом, который находится в причинно-следственной связи с совокупностью существенных признаков.

Источники информации

I. Прототип и аналоги:

1. US 2008082384 А1, 03.04.2008 (прототип).

2. RU 2184396 C1, 27.06.2002 (аналог).

3. RU 2314029 C2, 10.01.2008 (аналог способа).

4. RU 77716 U1, 27.10.2008 (аналог устройства).

5. RU 2186423 C2, 27.07.2002 (аналог устройства).

II. Дополнительные источники по уровню техники:

6. RU 73512 U1, 20.05.2008.

7. RU 2347528 C2, 27.02.2009.

8. RU 2341190 C2, 20.12.2008.

9. RU 2261045 C1, 27.09.2005.

10. RU 2320266 C1, 27.03.2008.

11. RU 2221265 C1, 10.01.2004.

12. RU 2326442 C1, 10.06.2008.

13. US 2008085501 A1, 10.04.2008.

14. WO 2006020249 A1, 23.02.2006.

15. US 6097927, 01.08.2000.

16. RU 2139554 C1, 10.10.1999.

17. RU 2227320 C2, 20.04.2004.

18. RU 2308759 C1, 20.10.2007.

19. Eysenk H.J. The structure of human personality. - London - N.Y., 1960. - 456 c.; Как измерить свой IQ. Тесты / Авт. - сост. А.Лидин. - Изд. 2-е. Ростов н/Д: Феникс, СПб.: ООО Изд-во «Северо-Запад, 2009. - 221 с.

20. Качество высшего образования / Под ред. М.П. Карпенко. - М.: Изд-во СГУ, 2012. - 291 с.

21. Варламов В.А., Варламов Г.В. Компьютерная детекция лжи. - М.: «Принт-Центр», 2010. - 944 с.

Изобретение относится к технологии тестирования, испытаний и контроля совокупности показателей объектов. Технический результат заключается в повышении точности обработки данных за счет создания обобщенной структуры теста путем приведения разнородных видов тестов к единообразию и стандартизации процедуры обработки и интерпретации результатов тестирования. Синергия унификации ядра теста, включающего экспертную систему обработки и интерпретации данных тестирования, и реализация на базе вычислительных средств позволяет использовать предложенное техническое решение в качестве универсального средства экспресс-тестирования различных типов объектов (биологических индивидуумов, их групп и объединений, продуктов, технических объектов) в разных областях деятельности (образование, здравоохранение, производство, квалиметрия, социальная среда). 2 н. и 9 з.п. ф-лы, 1 ил., 1 табл.

1. Способ тестирования, при котором определяют группы показателей объекта тестирования и перечень показателей в каждой группе, формируют балльную оценку совокупности показателей объекта тестирования в каждой группе, производят обработку всей полученной совокупности показателей и осуществляют интерпретацию результатов тестирования состояния объекта путем вынесения суждения о его статусе по градуированной шкале уровней атрибутов, отличающийся тем, что обработку всей полученной совокупности показателей проводят путем определения интегрального индекса обобщенной оценки A в соответствии с выражением
,
где P_n - количество баллов (балльная оценка) за каждый n-й вопрос в m-й группе показателей;
m - число групп показателей;
n - число показателей в группе;
N_n - коэффициент выравнивания - нормирования между группами показателей, определяемый максимальным количеством баллов P_max за каждый из n показателей в каждой m-й группе:

а интерпретацию результатов тестирования осуществляют по интервалам I шкалы S градуировки, соответствующим уровням качественной оценки атрибутов тестируемого объекта и определяемым выражением

где I - балльный размер интервала;
S - шкала градуировки результатов тестирования для их интерпретации;
K - количество интервалов - уровней градуировки, каждому из которых присваивается качественная оценка;
A_max, A_min - определяемые эмпирически границы шкалы S градуировки, соответствующие максимальному A_max и минимальному A_min значениям интегрального индекса A обобщенной оценки результатов тестирования.

2. Способ по п.1, отличающийся тем, что в качестве тестируемого объекта используют технические объекты или биообъекты, например человека.

3. Способ по п.1, отличающийся тем, что показатели объекта определяют путем измерений параметров - характеристик объекта и/или посредством вопросника - анкетирования.

4. Способ по п.1, отличающийся тем, что шкалу градуировки принимают линейной с возрастанием количества баллов, уровней качественной оценки и степени выраженности тестируемого атрибута.

5. Способ по п.1, отличающийся тем, что для интерпретации результатов тестирования объекта путем вынесения суждения о его статусе используют приведенную 100-балльную шкалу градуировки, при этом количество интервалов шкалы градуировки выбирают равным от двух до шести, по меньшей мере двум, предпочтительно четырем.

6. Система тестирования, выполненная на базе аппаратурно-программных средств вычислительной техники и содержащая соединенные информационной и управляющей шинами блок входных данных - показателей тестируемого объекта (блок ВД), блок формирования матрицы данных (блок ФМД), блок памяти, блок обработки данных (блок ОД), блок формирования оценки и интерпретации результатов тестирования (блок ФОР) и блок отображения результатов тестирования (блок ОРТ), при этом блок ВД включает устройство ввода измеренных значений показателей - характеристик тестируемого объекта и устройство ввода показателей из вопросника, отличающаяся тем, что система тестирования выполнена унифицированной для различных технических и биологических объектов тестирования, при этом блок ОД выполнен в виде вычислительного устройства, реализующего алгоритм обработки всей полученной совокупности показателей путем определения интегрального индекса обобщенной оценки A в соответствии с выражением
,
где P_n - количество баллов - балльная оценка за каждый n-й вопрос в m-й группе показателей;
m - число групп показателей;
n - число показателей в группе;
N_n - коэффициент выравнивания - нормирования между группами показателей, определяемый максимальным количеством баллов P_max за каждый из n показателей в каждой m-й группе:

а блок ФОР выполнен в виде вычислительного устройства, реализующего алгоритм вычисления интервалов I шкалы S градуировки, соответствующих уровням качественной оценки атрибутов тестируемого объекта и определяемых выражением

где I - балльный размер интервала;
S - шкала градуировки результатов тестирования для их интерпретации;
K - количество интервалов - уровней градуировки, каждому из которых присваивается качественная оценка;
A_max, A_min - определяемые эмпирически границы шкалы S градуировки, соответствующие максимальному A_max и минимальному A_min значениям интегрального индекса A обобщенной оценки результатов тестирования.

7. Система по п.6, отличающаяся тем, что блок ФМД выполнен с возможностью формирования m групп показателей - характеристик n объекта тестирования, а также перечня из n показателей в каждой m-й группе с соответствующей балльной оценкой P_n каждого из n показателей.

8. Система по п.6, отличающаяся тем, что блок ФОР формирует линейную шкалу градуировки результатов тестирования с возрастанием количества баллов, уровней качественной оценки и степени выраженности тестируемого атрибута, при этом количество интервалов - уровней шкалы градуировки выбирается равным от двух до шести, по меньшей мере двум, предпочтительно четырем.

9. Система по п.6, отличающаяся тем, что блок ФОР формирует приведенную R-балльную шкалу градуировки в соответствии с выражением

где A_R - балльная оценка по приведенной R-балльной шкале градуировки.

10. Система по п.6, отличающаяся тем, что блоки ФМД, ОД и ФОР выполнены в виде программируемого процессора.

11. Система по п.6, отличающаяся тем, что блок ОРТ выполнен с возможностью отображения качественной оценки атрибутов тестируемого объекта как по показателям каждой группы, так и по всей совокупности показателей групп интегральной оценкой тестируемого объекта.