Как избежать ошибок в интерпретации результатов ЕГЭ?

Несмотря на то что до очередного экзаменационного этапа школам еще далеко, эксперты вновь обращают внимание на ЕГЭ. Сегодня он остается, пожалуй, единственным независимым инструментом оценки качества образования. С его помощью пытаются оценить многое: от уровня знаний, которые на выходе из школы остаются у выпускников, до эффективности работы местных властей. Правомочно ли это? И как сделать эту оценку наиболее грамотной? Может ли что-то ее изменить и дополнить? Об этом шла речь на очередном семинаре Института образования НИУ ВШЭ «Актуальные исследования и разработки в области образования».

Доклад «Интерпретация и представление результатов ЕГЭ: проблемы и возможные решения», с которым выступили руководитель Российского тренингового центра Института управления образованием РАО Игорь Вальдман и эксперт независимого агентства оценки качества образования «Лидер» Сергей Боченков, произвел большое впечатление на собравшихся.

Во вступлении к собственно проблематике доклада Игорь Вальдман отметил, что сегодня необходимо уяснить: ЕГЭ – лишь одна из характеристик сложного портрета результатов. Пользоваться исключительно им при принятии того спектра решений, которые сегодня основываются на его интерпретации, нельзя. По сути, без привлечения дополнительных данных, контекстов, статических и качественных измерений ЕГЭ применим только при выдаче аттестатов и отборе в вуз. Если же есть необходимость оценить работу учителя или целого муниципалитета в области образования, то без контекстов здесь не обойтись. Кроме того, ЕГЭ был и остается процедурой с высокими ставками, которая предполагает, что очень многие – от сдающих его детей до управленцев – могут использовать не только легитимные способы повышения результатов.

Впрочем, справедливое замечание сделал и научный руководитель Центра мониторинга качества образования НИУ ВШЭ Виктор Болотов: когда мы говорим о том, что не стоит с помощью ЕГЭ оценивать какие-то явления, то прежде всего мы должны предложить что-то взамен. Пока других инструментов, к сожалению, нет.

Естественно, что в такой ситуации, по словам Игоря Вальдмана, уже сложились свои традиции интерпретации результатов ЕГЭ. Правда, нередко они оставляют желать лучшего с точки зрения методологии.

Подробно об ошибках в интерпретации рассказал Сергей Боченков. Он отметил, что исследователи нередко с ходу допускают неточность, предполагая, что «сдающий ЕГЭ в … году» – это то же самое, что «выпускник… года». Но ведь на самом деле сдавать ЕГЭ в потоке текущего года могут не только недавние 11-классники. Это и те, кто по каким-то причинам не сдал ЕГЭ годом ранее, но был допущен к пересдаче, и призывники, и выпускники учреждений НПО и СПО. В таком случае мы должен понимать, что имеем в виду, когда рассуждаем об этой категории.

Вторым камнем преткновения в интерпретации ЕГЭ служит уже ставшее привычным понятие «средний балл ЕГЭ». Сравнение средних значений удобно и достаточно часто применяется в исследовательской практике, но, по словам докладчиков, имеет весьма ограниченные возможности, если мы говорим о ЕГЭ. Тем не менее сегодня достаточно часто по этому показателю школы сравнивают друг с другом, с данными по муниципалитету, региону, даже по стране в целом. Так же отслеживается динамика балла по годам. Нередко пытаются сравнивать даже результаты по различным предметам, чтобы определить, что сдали в текущем году лучше, а что – хуже. В то же время это недопустимо, поскольку налицо и неоднородность сравниваемых групп сдающих ЕГЭ, и большой разброс в индивидуальных результатах.

Таким образом, как отметили Игорь Вальдман и Сергей Боченков в своем докладе, если предпринимается попытка сравнить результаты ЕГЭ по нескольким предметам, исследователю нужно быть уверенным, что он сравнивает сопоставимые вещи. Существующая же 100-балльная шкала ЕГЭ этого не дает.

Тем не менее это ограничение может быть частично снято для обязательных экзаменов (русский язык и математика), поскольку здесь сопоставимо хотя бы число участников. Правда, здесь тоже не все так просто. Порой в выводах исследований можно встретить утверждение о том, что ежегодно математику сдают хуже, чем русский. Однако чтобы сделать этот вывод, нужно хотя бы понимать, сопоставим ли уровень тестов по сложности. Но выясняют ли это исследователи сегодня?

Как отметил Виктор Болотов, раньше подобная возможность была. Можно было, например, сравнивать между собой результаты ЕГЭ разных лет по одному предмету, так как в перечень заданий входили так называемые якорные задания. Сейчас этого нет. И, по сути, сказать, что на самом деле означают, к примеру, двадцать баллов этого и прошлого года в сравнении друг с другом, очень трудно.

Ведь на то, как сдается ЕГЭ, влияет множество факторов. Если в начале активно менялся сам характер заданий экзамена, и все понимали, какой большой эффект это оказывало на результаты, то недавние изменения, коснувшиеся продолжительности сдачи, могут показаться кому-то несущественными. Хотя на самом деле это совсем не так.

Кроме того, если мы говорим в терминах ЕГЭ о результатах работы каждого из участников образовательного процесса, то критериями качества их работы будут совершенно разные вещи. И это понимание также становится условием корректной интерпретации данных. Так, например, по мнению докладчиков, о качестве работы учителя по подготовке школьников к ЕГЭ будет свидетельствовать то, что оценки, полученные на экзамене, адекватны тем оценкам, которые ставились в течение года. Если предмет преподается в школе на профильном уровне, то учащиеся должны получить высокие баллы на этом экзамене и т.д.

Школа будет «хорошей», если все ее выпускники успешно справились с обязательными экзаменами, если баллы по профильным предметам школы оказались достаточно высокими и др.

Качественной работу системы образования региона по результатам ЕГЭ можно считать, в случае если все выпускники текущего года сдали экзамены и получили аттестаты, если профильные школы показали, что их выпускники по отдельным предметам имеют высокие результаты, если различия между результатами школ на одной территории меньше, чем внутри школ (это, кстати, означает, что регион обеспечивает школьникам равный доступ к образованию), и т.д.

И все эти характеристики при правильном подходе можно извлечь из результатов ЕГЭ, важно лишь различать наборы «хороших» и «плохих» результатов для разных групп.

В общем и целом, как отметили докладчики, ЕГЭ – неплохой инструмент для анализа, но в отсутствие четких рекомендации или даже ограничений в использовании его результатов он может привести к неправильным решениям как учителя, так и руководство управлений образования в регионах.

Фото Ольги Максимович