Поправка на мотивацию. Коррекция тестовых баллов учебных достижений

Тесты – объективный инструмент педагогической диагностики. Они позволяют организовать эффективную систему обратной связи в современных педагогических технологиях. Однако, имея неоспоримые достоинства, тесты имеют и недостатки, которые если нельзя устранить, то можно попытаться уменьшить.

При n = 1 имеем линейную модель. В этом случае из формулы имеем:Подставив n = 2 в формулу , получим параболическую модель. В ней наблюдается более жесткая реакция на угадывание для слабых испытуемых. Для сильных коррекция меньше, чем в линейной модели. В кубической же модели (n=3) наблюдается усиление этой тенденции, проявившейся в параболической. В психологическом плане возрастание показателя n можно трактовать как усиление недоверия к слабым испытуемым и, наоборот, усиление доверия к сильным.

Полностью публикация приведена в формате PDF:Скачать/Просмотреть(Для просмотра необходима программа Adobe Reader или ее произвольный аналог).

Главное достоинство теста в том, что он может выступать в роли полноценного измерительного инструмента для определения уровня и структуры знаний учеников. В этом его коренное отличие от всех других форм контроля, где в качестве собственно контролирующего элемента выступает человек.

Субъективизм, органично присущий педагогу, не позволяет определить уровень знаний учащихся с требуемой степенью объективности и надежности. Согласно сведениям Карл-Хайнца Ингенкампа немецкий учитель, самым добросовестным образом пытающийся оценить знания школьника, делает это, в лучшем случае, с точностью до 20 процентов. То есть даже один и тот же преподаватель за один и тот же ответ (по видеозаписи урока) в разные моменты времени, отстоящие друг от друга всего лишь на 1-2 месяца, ставит разные оценки. Можно сделать вывод, что за один и тот же ответ ученик немецкой школы получит у разных учителей разные отметки – от 3 до 5 баллов. Ситуация в российских школах не лучше.

Конечно, мнение учителя хорошо защищено именно «человеческим фактором». Опытного педагога очень трудно обмануть, ибо по малейшему изменению интонации ученика, запинкам в ответах на дополнительные вопросы он мгновенно распознает, что ученик списал у кого-то (и даже может сказать – у кого) правильный ответ. В этом плане тесты защищены гораздо хуже, их легко «обмануть», действуя банальным методом подбора.

Сейчас во многих школах проводится ЕГЭ, в основе которого лежит выполнение тестов. Однако уже известны случаи предварительной расшифровки ключей к тестам, что полностью обесценивает результаты единого госэкзамена. С подобными нарушениями можно и нужно бороться, используя, например, административные меры.

Попробуем разобрать еще одну проблему искажения результатов тестирования, которую административными мерами в принципе не решить. Речь пойдет об угадывании правильного ответа.

Итак, тесты состоят из заданий, которые распадаются на два больших класса – открытого и закрытого типов. В заданиях в первом случае исказить результат можно только списыванием, угадывание здесь не поможет. Широкому применению открытых заданий препятствует чрезвычайно высокая сложность их создания. Для дисциплин гуманитарного цикла проблема разработки открытых заданий для компьютерного тестирования до сих пор не нашла удовлетворительного решения. По этой причине на практике чаще всего используются тестовые задания закрытого типа – с выбором одного или нескольких правильных ответов. Они очень технологичны, успешно поддаются обработке на ЭВМ, легко и однозначно воспринимаются учащимися.

Но применение таких заданий осложняется попытками испытуемых угадать правильный ответ. Индивидуальный балл X испытуемого (количество правильных ответов) в этом случае будет отличаться от истинного, что снижает диагностическую ценность тестирования.

Рассмотрим различные подходы к решению данной проблемы, предполагая в дальнейшем, что каждое задание теста содержит фиксированное количество ответов k, из которых только один правильный.

В простейшем случае можно ввести фиксированную поправку на коррекцию тестового балла. Допустим, что соблюдается условие равной привлекательности дистракторов (ошибочных ответов) в задании. Кроме того, дистракторы должны быть достаточно привлекательными по сравнению с правильным ответом. Обычно предполагается, что каждый из ошибочных ответов должен выбираться не менее чем пятью процентами испытуемых. Тогда с увеличением количества ответов k в каждом задании вероятность угадывания падает. То есть поправка должна быть обратно пропорциональна количеству ответов в задании.

Фиксированную поправку можно ввести следующим образом:

Тогда исправленный индивидуальный балл испытуемого равен

где k – количество ответов в задании, N – количество заданий в тесте. При k = 4 поправка равна 0,25 независимо от значения Х – числа правильных ответов испытуемого. То есть все испытуемые теряют одно и то же количество баллов.

Введение фиксированных поправок предполагает, что и сильный и слабый ученик в одинаковой степени пытаются угадать правильный ответ. Однако это неверно. Сильный испытуемый не нуждается в угадывании, его знаний достаточно, чтобы с высокой вероятностью успешно справиться с заданием.

Выдвинем гипотезу: если индивидуальный балл X высокий, то ученик – сильный и мотивация к угадыванию у него слабая. Если же индивидуальный балл низкий, то ученик – слабый и сильно мотивирован к угадыванию правильного ответа.

Таким образом, для того чтобы учесть различие в мотивации к угадыванию у сильных и слабых испытуемых, необходимо использовать поправку Dp, зависящую от доли правильных ответов p=X/N или от доли неправильных ответов q = 1-p.

Разумно предположить, что чем больше q, тем поправка должна быть больше, а чем больше k, тем меньше. Исправленный индивидуальный балл испытуемого определяется формулой:

Y = (p -Dp)·N

Предположим, что поправка Dp нелинейно зависит от доли неправильных ответов испытуемых:

где n – натуральное число, m – некоторый коэффициент, подлежащий определению.

При определении m примем во внимание два следующих обстоятельства:

в практическом тестировании используются тестовые задания с k =3…5;

значения p = 0,3 … 0,2 считаются низкими и полностью обусловленными угадыванием.

Опуская промежуточные выкладки, запишем окончательное выражение для Y:

(1)

Мы получили формулу, позволяющую вводить поправки на угадывание, используя различные нелинейные модели [2].

При n = 1 имеем линейную модель. В этом случае из формулы (1) имеем:

Поскольку X = pN и W = qN, то это выражение можно переписать в другом виде:

(2)

где W – количество неверных ответов испытуемого.

Эта формула давно и хорошо известна.

Подставив n = 2 в формулу (1), получим параболическую модель. В ней наблюдается более жесткая реакция на угадывание для слабых испытуемых. Для сильных коррекция меньше, чем в линейной модели. В кубической же модели (n=3) наблюдается усиление этой тенденции, проявившейся в параболической. В психологическом плане возрастание показателя n можно трактовать как усиление недоверия к слабым испытуемым и, наоборот, усиление доверия к сильным.

Таким образом, нелинейные модели можно рекомендовать к применению в группах испытуемых с четко выраженным разделением на сильных и слабых.

Владимир КИМ, преподаватель Уссурийского государственного педагогического института