Опять двойка . Нет, ведь есть ОСОКО!

Проблемы оценки качества школьного образования сегодня остро обсуждают не только в профессиональных кругах, но и на самом широком уровне в обществе. Введение новой системы оплаты труда в ходе модернизации образования требует ясных, четких критериев при оценке их работы. В то же время возросший интерес в обществе к вопросам качества образования диктует свои задачи. И важно на этот вызов современного общества ответить своевременно и адекватно. Потому очень важно поддержать первопроходцев, которые своими поисками и трудами показывают направление, в котором следует нам двигаться.

В Юго-Западном округе столицы второй год идет эксперимент по формированию единой окружной системы оценки качества образования (ОСОКО). Очень важно, что найдена методика для исследования качества обучения по различным учебным предметам. Новая технология основывается на данных внутришкольного контроля, организованного с учетом современных требований к сбору и обработке информации. При этом учитываются индивидуальные достижения и каждого ученика, и каждого учителя. Это несомненное достоинство ОСОКО увеличивается еще и за счет надежности измерительного инструментария.

Сегодня все образовательные учреждения округа принимают участие в эксперименте «Оценка качества обученности» по апробации методов педагогической квалиметрии и математической статистики в оценке качества обучения (автор технологии – Надежда Борисовна Фомина).

На «круглом столе» «Формирование окружной системы оценки качества обучения», проводимом в конференц-зале школы №2006, шел серьезный, заинтересованный разговор о достоинствах данной методики, о накопленном опыте в результате эксперимента. В работе «круглого стола» приняли участие представители Департамента образования, Московского центра качества образования, окружных управлений образования, окружных методических центров, научные работники, директора школ. Как оказалось, актуальная тема не оставила никого равнодушным.

Основными показателями качества всегда были, да и сейчас остаются степень обученности (количество успевающих) и качество обученности (количество успевающих на «4» и «5»).

В том, что эти показатели не являются показателями качества, можно убедиться на следующих примерах:

Посмотрите на эти оценки, выставленные за контрольную работу («3»,«3»,«3»,«3»,«3», и «2»,«2», «4»,«4»,«4»).

В первом случае успеваемость составила 100%, но это далеко не то высокое качество. Во втором случае 60% учащихся обучаются на «4», однако и здесь есть сомнения в качестве обученности данного класса. С нашей точки зрения, только один показатель может дать представление о сущности явления – это результативность. Результативность – это не новое понятие для педагогики, но в приложении к характеристике качества обучения в нем присутствует новизна. Результативность в нашем понимании – это выраженный в количественном значении качественный результат обучения.

Основным во все времена, да и сейчас, является контрольная работа. Но что можно узнать из нее о качестве обученности (столько-то писали, такие оценки получили, столько-то ошибок допустили и т.д.). Если мы применяем новый подход к оценке результатов учебного труда, то определяем результативность по выполненному учеником объему заданий. Чем больше заданий выполнил ученик, тем выше его индивидуальная результативность, следовательно, и результативность класса. Нами был разработан алгоритм анализа контрольных работ, основанный на системном подходе. Мы смогли увидеть результативность каждого ученика, уровень реализации его возможностей, объективность оценивания результатов его труда учителем.

Анализ многочисленных контрольных работ позволил сделать очень важное наблюдение: если учитель объективно оценивает ученика, оценочный показатель совпадает с показателем результативности (ОЦ=РЕЗ). Следовательно, можно определить результативность, не проводя полных вычислений, а опираясь только на один показатель – оценки. Этот метод мы назвали оценочно-результативным, именно он лежит в основе вычислений результатов деятельности класса, школы, района, округа.

Определяется он просто – нужно найти среднее значение оценок, округлить до сотых и умножить на 20. Мы получим показатель результативности, выраженный в процентах. Вернемся к нашим примерам. Теперь легко определить результативность в первом случае – 60% (3,0 х 20 = 60) и во втором случае – 64% (3,2 х20 = 64). Наши предположения о том, что это невысокое качество, математически подтвердились. Но каков уровень этого качества? Уровень результативности 64 в слабом классе будет оптимальным, а в гимназическом или лицейском почти критическим.

Следовательно, оценивать качество без знания реального положения дел в данном ученическом коллективе, значит, не видеть усилий учителя в работе со слабым классом, недооценивать зону ближайшего развития учащихся в классе сильном.

Таким образом, характеристика качества в данном случае будет многомерной. Она должна обязательно учитывать реальные учебные возможности каждого ученика и опираться на результаты его индивидуальных достижений.

Очевидно, что характеристикой качества становится следующее предположение: под качеством обучения понимается характеристика результатов обучения, отражающая степень соответствия реальных достигаемых образовательных результатов нормативным требованиям и индивидуальным учебным возможностям обучающихся.

Но тогда возникает задача: каким образом можно определить учебные возможности ученика, если в арсенале педагога-исследователя отсутствуют точные измерительные инструменты этого свойства? Педагогическая практика привыкла оперировать такими понятиями, как высокий уровень учебных способностей или средний уровень, низкий уровень. Как выразить необходимые нам свойства в виде конкретных математических величин. Нам удалось найти алгоритм вычисления основополагающих показателей, характеризующих способности учащихся: главный из них – это показатель ИРВ (индекс реальных возможностей). Именно в нем скрыта прогнозируемая результативность как аналог количественного показателя качества.

Этот показатель необходим на всех уровнях образования: без него невозможен анализ класса, школы, района, округа. Анализ контрольной работы, проведенный с учетом всех прогнозируемых показателей, безусловно, отличается большей глубиной и объективностью. Как определить качество обучения в ходе анализа контрольных работ? Для этого необходимо применить квалиметрический анализ, который позволит выйти на системную оценку результатов обучения. Системный подход подразумевает наличие в анализе не менее 5 анализируемых компонентов. Новая технология анализа контрольных работ (и тестовых заданий также), проведенная с учетом прогнозируемых показателей, позволяет получить спектр сведений, с помощью которых можно успешно управлять качеством обучения.

Контрольные работы, проведенные в соответствии с графиком внутришкольного контроля, безусловно, дают пищу для размышлений. Но управленческое воздействие будет осуществляться не широким фронтом, а отдельными эпизодическими фрагментами: в октябре посмотрели алгебру, в ноябре – русский язык, в марте – физику. Меняются классы, предметы, учителя, крайне редко проводятся повторные работы с целью осуществления мониторинга. Из такой мозаики складывается какое-то мнение о работе учителей, учащихся, но целостного представления даже об отдельно взятом классе нет.

Возникла необходимость в создании новой модели оценки качества.

Квалиметрический подход в отличие от традиционного позволяет извлечь максимум информации из полученных количественных оценок и с математической строгостью оценить состояние исследуемых объектов.

Принципиальное отличие новой системы от традиционной заключается в использовании таких оценочных технологий, которые ориентированы не на субъективные оценочные механизмы локального применения, а на объективизированные (дистанцированные от учителя) оценочные процедуры, удовлетворяющие требованиям объективности, сопоставимости и репрезентативности оценок. В силу многообразия факторов, влияющих на образовательный процесс, и многоаспектности решаемых задач, которые могут быть включены в СОКО, она обладает системным свойством, а поэтому для ее организации требуется системный подход.

На этой основе необходимо ввести в образовательную практику как систему метод сбора, синтеза, анализа и предъявления конечного результата.

Нами предлагается следующая система уровней:

Индивидуальный – накопление и анализ результатов по каждому учащемуся в течение всего периода обучения.

На уровне класса или по отдельным группам учеников – предоставление информации, необходимой учителям для их практической деятельности (корректировка программ, выбор технологий обучения и др.).

Уровень образовательного учреждения – по различным предметам и классам для анализа работы учителей и получения квалиметрических данных, необходимых для корректировки рабочих программ, совершенствования технологий обучения, определения направлений повышения квалификации и др.

Муниципальный (районный) – по группам образовательных учреждений (общего образования, лицеи, гимназии, профильные школы, интернаты и др.) для администрации и органов управления образованием.

Региональный (окружной)- для анализа состояния качества образования по территориям и видам образовательных учреждений.

В прошедшем учебном году проведено 2 обследования с целью определения влияния новой системы на качество образования. Полученные данные позволяют однозначно сказать, что в образовательных учреждениях началась работа по улучшению показателей. Основополагающий принцип управления – определение отклонения от заданных параметров и воздействие на объект управления с целью приведения его в заданное состояние – полностью реализовался.

Положительная динамика прослеживается как на уровне образовательных учреждений, так на уровне районов и округа.

Каковы возможности новой технологии оценки результатов обучения?

Возможности новой технологии позволяют получить информацию не только в рамках заданных параметров. Иногда возникает потребность в решении специфических вопросов, которые традиционными методами решить просто невозможно.

Иногда эти потребности продиктованы возникающими запросами. Как увидеть свой предмет методисту, курирующему определенное направление, чтобы иметь возможность осуществить многоуровневое методическое сопровождение?

Как своевременно оценить ситуацию с подготовкой к ЕГЭ и не только спрогнозировать предстоящие результаты, но уже на раннем этапе увидеть проблемы и усилить направление работы (наш ранний прогноз сбылся на 87%, это большая вероятность события).

Можно оценить результаты экспериментальной работы, проводимой в учреждении образования: вводится критерий продукта как приращение качества, прирост результатов – свидетельство эффективности внедрения инноваций. (Этот критерий успешно работает в школах Англии: учреждение, не показывающее прирост показателей, подвергается особому надзору со стороны государства.)

С помощью этой технологии можно определить рейтинг образовательного учреждения не только на уровне района, но также и на уровне округа. Ранжирование проводится по 11 внутренним и 4 внешним показателям, приведенным в однотипную процентиальную шкалу. Динамика показателей учителя, ученика, класса, школы, района, округа – все может быть представлено наглядно, графически, и верно статистически.

Разработана электронная версия программы оценки качества образования (разработчик программы – Рядинская Н. В.).

Сведения о ходе и результатах образовательного процесса позволяют не только провести своевременную корректировку, но и применить полученную информацию для управленческих решений.

Надежда ФОМИНА, зав. лабораторией оценки качества образования Юго-Западного управления образования