На чтение: ≈ 11 мин.Содержание контрольно-измерительных материалов (КИМов) единого государственного экзамена (ЕГЭ) по Закону «Об образовании» (ст. 7 п. 6) должно соответствовать требованиям государственных образовательных стандартов (ГОСов). Однако ГОСы еще не утверждены. КИМы разрабатываются на основании федерального базисного учебного плана и примерных учебных планов для образовательных учреждений РФ (приказ Минобразования от 09.02.2004 г. №3212). В настоящее время Правительством РФ утвержден новый Порядок разработки ГОСов. Однако анализ содержания этого Порядка показывает, что Минобрнауки России само разрабатывает ГОСы, само организует по ним обучение и само контролирует результаты этого обучения.
В связи с этим предлагаю организовать разработку ГОСов так, как это предусмотрено Законом «О техническом регулировании» и проектом закона «О стандартизации» при разработке национальных стандартов, то есть создать при Федеральном агентстве по техническому регулированию и метрологии технический комитет по разработке ГОСов и разрабатывать их в соответствии с ГОСТами серии 1.0.
Валидно ли содержание КИМов?
Точность измерения (оценивания) учебных достижений очень низкая.
ЕГЭ в результате его внедрения должен решить две основные задачи:
– аттестацию выпускников;
– конкурсный отбор абитуриентов вузов и ссузов.
Таким образом, в соответствии с этими двумя задачами наибольшая точность измерения учебных достижений по ЕГЭ должна быть:
– в области баллов, соответствующих переходу «аттестован – не аттестован» или «2» – «3» по пятибалльной школьной системе. В 2009 году, например, по математике уровень «3» соответствует 20 баллам и выше;
– в области баллов, соответствующих конкурсным требованиям в вуз или ссуз.
В 2008 году уровень «5» был установлен комиссией Рособрнадзора в районе 60-70 баллов. Между тем погрешность ЕГЭ именно в этих диапазонах составляет величину от +5 до +7 баллов. Это хорошо видно на графиках плотности распределения, которые все имеют отличие от нормального распределения. Вузы это знают и устанавливают планку приема в районе 70-80 баллов. А при решении вопроса о выдаче или невыдаче школьного аттестата эта погрешность не учитывается.
В результате выпускник 2009 года при оценке ЕГЭ, имея отметку, например, по математике 20 баллов, получает аттестат, хотя его истинный результат может быть всего лишь 13-15 баллов, а другой выпускник при оценке в 19 баллов аттестат не получает, хотя его истинный результат может быть равен 24-26 баллам.
«Весы» правильного выполнения КИМов
Ведущие вузы РФ (например, МГУ имени Ломоносова) отмечают, кроме того, невалидность содержания КИМов ЕГЭ, то есть тот факт, что КИМы ЕГЭ оценивают не то, что требуется для определения способности абитуриента учиться в вузе.
КИМы ЕГЭ целесообразно составлять в соответствии с теорией тестирования из частей:
а) критериально-ориентированного теста, предназначенного для аттестации выпускников с заданными заранее (до начала ЕГЭ) критериями («весами» правильного выполнения задания КИМов);
б) нормативно-ориентированного теста для конкурсного отбора, в котором норма устанавливается после проведения ЕГЭ (то есть с учетом реальной трудности задания).
Как соотносятся цена и качество?
Соотношение «цена – качество» в организации ЕГЭ никто никогда не считал и не оценивал.
Между тем это один из важнейших показателей эффективности любого процесса, услуги или процедуры. Однако информация о том, сколько стоит ЕГЭ по одному предмету для одного человека, отсутствует. Косвенные экспертные оценки показывают, что суммарная бюджетная стоимость одного человеко-экзамена составляет приблизительно 700 рублей. Такая оценка базируется на затратах:
федерального бюджета, связанных с разработкой КИМов и их тиражированием, рассылкой в регионы, централизованной обработкой результатов ЕГЭ;
региональных бюджетов по организации пунктов приема экзамена (ППЭ), региональных центров обработки информации (РЦОИ), доставки выпускников на ППЭ, сбора и обработки результатов ЕГЭ в регионе;
местных бюджетов, например, по оснащению ППЭ.
При общем числе участников ЕГЭ в 2009 году около 1 миллиона человек, которые сдали в общей сложности около 3,3 миллиона человеко-экзаменов, затраты на ЕГЭ в 2009 году составили около 2,5 миллиарда рублей. К этому следует прибавить затраты федерального и регионального бюджетов на проведение эксперимента по ЕГЭ, который длился с 2001 по 2008 год. По состоянию на 2007 г. эксперимент стоил только федеральному бюджету 370 миллионов долларов. Затраты региональных бюджетов не подсчитывались, и сведений о них нет. При отсутствии ГОСов (что приводит к низкой содержательной валидности КИМов) и при низкой точности измерения цена эксперимента и стоимость ЕГЭ в штатном режиме явно показывают низкую эффективность существующей организации ЕГЭ.
Поэтому необходимо провести подробный анализ соотношения цены (для бюджетов федерального, регионального, муниципального уровней) и качества результатов ЕГЭ и принять необходимые меры по доведению процедуры ЕГЭ до приемлемого соотношения цены и качества.
Проигрывают вуз и работодатель
Анализ штатного ЕГЭ в 2009 году показывает, что его результатами при желании можно очень хорошо «управлять» на любом уровне.
Так, например, результаты ЕГЭ в 2009 году по двум обязательным экзаменам (русскому языку и математике) показывают возможность управления результатами:
в целом по РФ. число выпускников, не сдавших эти два экзамена, составило в среднем по стране только 2,2%, в то время как по остальным – необязательным – предметам этот процент находился в пределах 9-12. Очевидно, что результат по двум обязательным экзаменам достигнут или за счет снижения трудности КИМов, или за счет занижения порогового балла, соответствующего школьной оценке «2», а скорее всего, по сумме этих и ряда других управляющих факторов. Это очевидно из материалов статистики ЕГЭ 2009 года. Достаточно взглянуть на «Плотность распределения учащихся…» по математике и русскому языку, чтобы наглядно увидеть результаты этого управления;
в конкретном регионе. Например, в Воронежской области, где и число стобалльников, и процент получивших балл ниже минимального по двум обязательным предметам отличаются в разы от других регионов и от средних цифр по стране;
в конкретном городе или населенном пункте;
на конкретных ППЭ, о нарушениях в которых очень много писали СМИ.
В последних трех случаях это делается или за счет отклонений от процедуры (например, использование мобильников, помощи «решальщиков» и т. д.), или за счет грубых нарушений, например подмены экзаменуемого.
При этом прослеживается очевидная и явная заинтересованность участников ЕГЭ и руководителей различного ранга в более высоком результате:
выпускники стремятся всеми правдами, а иногда и неправдами получить как минимум аттестат или более высокий балл, если собираются поступать в вуз;
учителя явно заинтересованы получить более высокую оценку своей работы, так как теперь результаты ЕГЭ учеников – показатель оценки работы учителя;
руководители муниципального образования региона явно хотят выглядеть не хуже соседей.
Проигравшей стороной при этом являются вузы и работодатели, которые принимают по документам вроде бы лучших, а получают или неподготовленных к обучению в вузе, или вообще неподготовленных к жизни работников.
Чтобы уменьшить возможности управления результатами ЕГЭ, целесообразно:
разрабатывать ГОСы по правилам подготовки национальных стандартов с соблюдением требований законов «О техническом регулировании», «О стандартизации» по правилам ГОСов серии 1 для этой категории стандартов;
проводить экспертизу КИМов независимыми от Минобрнауки России экспертами;
стандартизировать все процессы и процедуры ЕГЭ и работу временных структур, ежегодно организуемых для проведения ЕГЭ (ППЭ, РЦОИ, ППОИ, ГЭК и т. д.). Стандарты эти разрабатывать, используя стандарты системы ГОСТ Р (в частности, ГОСТ Р1.2). Если будут стандарты, то все организационные структуры ЕГЭ (ППЭ, РЦОИ, ППОИ и т. д.) могут пройти процедуры добровольной сертификации. Для этого в регионах должны быть органы по сертификации, независимые от органов управления образованием;
в порядке проведения ЕГЭ должна быть прописана административная, а при необходимости и уголовная ответственность за искажение результатов.
Юрий МИХАЛЕВ, ведущий инженер Федерального центра тестирования
Выбор читателей
Комментарии