Процедура оценки качества образования не может быть создана только потому, что «так надо»

17 октября в Российском тренинговом центре Института управления образованием РАО состоялся второй в этом учебном году вебинар на тему построения региональной системы оценки качества образования (РСОКО). Участники вебинара услышали о том, какой путь проделала Новосибирская область и почему ее можно смело назвать пионером в этом направлении.

вице-президент Российской академии образования Виктор Болотов

директор Российского тренингового центра ИУО РАО Игорь Вальдман

директор Новосибирского института мониторинга и развития образования Юлия Захир

Чтобы узнать о том, что происходит у коллег, на этот юбилейный 15-й вебинар зарегистрировались 157 организаций из 36 регионов страны и пяти иностранных государств (Республика Армения, Беларусь, Казахстан, Таджикистан и Приднестровская Молдавская Республика). Естественно, наибольший интерес тема вывала у школ и вузов, поэтому их число оказалось наиболее представительным среди участников – 57 образовательных организаций. Всего же, по словам Игоря Вальдмана, к настоящему моменту в рамках такого онлайн-общения и обмена опытом РТЦ удалось собрать аудиторию объемом более пяти тысяч человек.

РСОКО по-новосибирски

Если говорить об этой системе оценки качества в целом, то среди основных вопросов, встающих при ее создании, встречаются обычно следующие:

– какие процедуры оценки внедрены в практику региона?

– кто их заказчик?

– кто исполнитель?

– какой инструментарий используется?

– какие решение принимаются по результатам оценки?

На эти вопросы Юлия Захир ответила настолько последовательно и четко, что ее соображения вполне может взять за основу любой регион, чтобы легко пройти путь построения РСОКО.

Так, по словам Юлии Захир, в Новосибирской области региональная система оценки качества образования делится на две части: это независимая и ведомственная экспертиза.

Независимая оценка качества образования – пока молодое направление в регионе, работа над которым начата лишь около пяти лет назад. Так что, здесь пока трудно говорить о закрепленных процедурах и механизмах, есть вопросы относительно заказчиков и исполнителей. Естественно, когда речь заходит о независимых оценщиках, в сознании может возникнуть образ активных представителей гражданского общества, заинтересованных в честном выявлении всех перекосов в системе образования. Правда, пока трудно понять, в какой именно форме они могут выступать заказчиками исследований и в каких целях будут использовать их результаты. Весьма противоречива и ситуация с независимыми организациями, которые хотят выступать в роли исполнителей исследований, далеко не каждая из них может предложить по-настоящему квалифицированные услуги.

– Сегодня очень много спекуляций на эту тему, – поддержал докладчика Виктор Болотов. – Много фирм хотят построить свой бизнес на оценивании, впрочем, не понимая точно, как надо оценивать. Они нанимают специалистов, решаются на демпинг, когда заходит разговор о стоимости процедуры. В такой ситуации очень важно проводить сертификацию оценщиков. Ведь, чтобы понять, кто способен качественно провести исследование, нужно задать лишь три вопроса: какие измерительные материалы вы используете, кто проводит процедуру, как будет проводиться интерпретация результатов. Для профессионала ответить на эти вопросы легко.

Тем не менее, в Новосибирской области уже есть два проекта, осуществленные в рамках независимой экспертизы. Оба они направлены на аудит деятельности образовательных учреждений. Заказчиком одного из них стала мэрия Новосибирска как учредитель образовательных учреждений города, а исполнителем – региональная общественная организация «Ассоциация независимых экспертов в сфере образования». В этом году проведен аудит 5 образовательных учреждений. В будущем году планируется продолжить эту работу. Заказчиком другого проекта выступили уже руководители образовательных учреждений, а оценщиком стал Новосибирский институт мониторинга и развития образования, который провел аудит деятельности этих учреждений.

Что касается второго направления РСОКО в Новосибирской области, то это ведомственная оценка. Она развивается в регионе еще с середины 90-х годов прошлого века, но именно в последнее десятилетие получила более активное развитие в связи с принятием ряда нормативных актов, сделавших проведение исследований качества образования непременным элементом функционирования системы. Состоит ведомственная оценка из четырех крупных блоков:

1. Государственные процедуры (в том числе, лицензирование и аккредитация), ГИА, сбор федеральной статистики;

2. Мониторинги и проекты федерального и регионального уровня, рейтинги, базы данных;

3. Процедуры оценки руководителей и педагогических работников образовательных учреждений (аттестация, квалификационный экзамен);

4. Самообследование образовательных учреждений, оценка результатов обучения в СПО, оценка качества предметных достижений.

Оценка качества предметных достижений: 2005 – 2012 гг.

Данная процедура из последнего блока, на рассказе о которой Юлия Захир остановилась особенно подробно, была разработана в 2005 году и практически в неизменном виде действовала до 2012 года. На ее примере докладчик хорошо продемонстрировала применение рамки описания процедуры оценки, о которой говорил на прошлом вебинаре Виктор Болотов:

1. Цели. Оценка соответствия качества подготовки выпускников требованиям реализуемых образовательных программ. По словам Юлии Захир, эта формулировка в точности повторяет ту, что была в предыдущем положении об аккредитации образовательных учреждений. Собственно, эта оценка была задумана и проводилась в рамках аккредитационных экспертиз. В связи с этим она становилась для школ процедурой «с высокими ставками», и было достаточно непросто избежать искажения результатов оценки.

2. Ключевые вопросы. Степень овладения предметным содержанием, информация о факторах влияния на результаты.

3. Участники. Выпускники 4-х, 9-х и 11-х классов образовательных учреждений, которые проходят в текущем году государственную аттестацию. В среднем, по словам Юлии Захир, ежегодно в поле зрения института попадали 250-350 школ. Каждая школа участвовала в оценке по двум обязательным предметам, которые выбирал регион, а также по 1-2 предметам по выбору школы. В целом, как отметила докладчик, специфика образовательных учреждений, учитывалась при их оценке.

– Что касается оценки элитных и вечерних школ, то, конечно, это нужно делать по разным показателям, – отметил Виктор Болотов. – Надо делать кластеры, потому что бессмысленно сравнивать настолько разные образовательные организации друг с другом. Надо ориентироваться в такой ситуации на добавленную стоимость, то есть на те изменений, которые происходят в школе год от года, изучать, приводят ли управленческие решения к улучшениям или ухудшениям.

4. Что оценивается? Предметные результаты выпускников ступеней школы и общепредметные умения.

5. Инструментарий. Пакет диагностических материалов, вмещающий в себя стандарт, кодификатор, обобщенный план диагностической работы, варианты диагностической работы, бланк ответов ученика, инструкция для эксперта по оценке диагностической работы. Естественно, что на каждом этапе разработки инструментария, который создавался в течение целого года, все документы проходили экспертизу, апробацию и корректировку. На сегодняшний день собрано 4 региональных банка тестовых заданий для начальной, 17 для основной и 20 для старшей школы, в каждом из которых содержится от 500 до тысячи заданий.

6. Кто проводит (организация)? Новосибирский институт мониторинга и развития образования. Все исследовательские базы, организаторы процедуры сосредоточены здесь. Участие в процедуре оценки принимают муниципальные координаторы, а в самих школах, так называемые, технологи, которых институт отбирает из персонала школы и специально готовит. Они выполнят наблюдательную функцию. Большая роль в этом процессе отведена и самим педагогам. Пока учащиеся выполняют задания, им предлагается провести оценку инструментария, поскольку они должны быть заинтересованы в его качестве.

7. Представление результатов. Уже в день проведения оценки образовательные учреждения получали матрицу результатов. Если у образовательной организации не было претензий по результатам диагностической работы, а со стороны института – по проведению честного тестирования, результаты принимались. Если возникало сомнение в честности, процедура по решению управления лицензирования проводилась повторно. Для педагогов разрабатывался сборник с методологическим анализом. Для Министерства образования и науки готовилось экспертное заключение по ситуации в каждом образовательном учреждении.

8. Виды решений и 9. Кто принимает решения? Регион принимает решение об аккредитации образовательного учреждения, само образовательное учреждение определяет направления для дальнейшей методической работы.

10. Кто использует результаты? Минобрнауки, а также директор образовательного учреждения для направления учителей на курсы повышения квалификации, учитель.

Оценка качества предметных достижений: 2013 год

С течением времени в образовании поменялось многое. На смену стандартам 2004 года пришли новые ФГОС, которые принимались с 2009 по 2012 годы. Именно поэтому в последние два года система оценки качества предметных достижений претерпела в Новосибирской области ряд изменений. И, по сути, вопросы рамки описания процедуры оценки обрели на сегодняшний день новые ответы. Так, изменились:

1. Цели. Теперь важным является получение информации об уровне образовательных достижений учащихся школ Новосибирской области.

2. Ключевые вопросы. Уровень предметных достижений и конкретных общеучебных умений. Формирование системы индикаторов и показателей результатов образовательной деятельности образовательного учреждения.

3.Участники. Если прежде это были «случайные» школы, выходящие на государственную аккредитацию, то теперь в выборке 50% образовательных учреждений из каждого муниципалитета. Изменился и исследуемый контингент учащихся. Теперь это 4-е,6-е,8-е и 10-е классы. Таким образом, как отметила Юлия Захир, выборка станет представительнее.

4. Что оценивается? Предметные результаты и конкретные общеучебные умения, например способность сравнивать и сопоставлять, извлекать необходимую для решения определенной задачи информацию и т.д.

5. Инструментарий. Остался практически неизменным, добавились лишь требования к работам.

6. Кто проводит (организация)? Новосибирский институт мониторинга и развития образования и др.

7. Преставление результатов. Минобрнауки, МОУО дается общая информация о качестве образования в регионе. Для образовательных учреждений готовится матрица результатов, заключения о предметных результатах и сформированности учебных умений. Педагогическое сообщество может ознакомиться с необходимой профессиональной информацией на сайте института. Также разработаны специальные подходы для подачи материалов в СМИ.

8. Виды решений и 9. Кто принимает решения? На региональном уровне с учетом изменений в процедуре оценки пока не накоплена база данных, соответственно, пока не принимаются никакие решения. Муниципалитеты занимаются адресной поддержкой образовательных учреждений. Сами образовательные учреждения и педагоги определяют направлений методической работы, разрабатывают индивидуальные планы поддержки учеников. Главное, как отметила Юли Захир, что по результатам оценки оказываются не жесткие меры влияния, а грамотная адресная помощь.

– Главный враг любой РСОКО – это административные меры, которые могут приниматься по результатам оценки, – подчеркнул Виктор Болотов. – Мы работаем, чтобы помочь муниципалитету, школе, ученику, а не чтобы послужить для их квалификации или дисквалификации. Рейтинг – не повод для дисквалификации руководителя РОНО, директора др. Это повод для разговора о том, что надо сделать, чтобы стало лучше.

9.Кто использует результаты? Аудитория практически та же, только теперь еще и родители становятся активными пользователями результатов исследования. Главное найти способ представить его в удобоваримой форме.

– Нельзя просто отдать рейтинг в пространство, – отметила Юлия Захир. – Надо прежде рассказать о нем, о том, куда пойдут его результаты, к каким последствиям это приведет, потому что от этого зависит судьба сотен детей в каждой школе, тысяч родителей, педагогов, директоров.

Риски и перспективы

Несмотря на то, что с течением времени процедуры меняются, риски для РСОКО остаются практически неизменными. Все также можно, по словам Юлии Захир, найти слабые места в инструментарии исследования, предъявить претензии к его качеству. Непростым вопросом остаются кадры. Новосибирский институт мониторинга и развития образования решает эту задачу, обучая разработчиков инструментария (сегодня их число достигло уже 30), привлекая внешних экспертов. Работают в институте и над вопросами общественного наблюдения в ходе таких исследований. Обычно наблюдатели присутствуют в школе от начала и до конца процедуры, обеспечивая ее честность. Привлекаемый контингент достаточно широк. В селах в этой работе участвуют даже представители схода граждан.

Если говорить о других проблемах, то это, например, трудности в получении объективных результатов. Несмотря на то, что с 2013 года институт старается сориентировать исследования на потребности самих школ, они все еще воспринимают их как раньше, когда от результатов зависели вопросы аккредитации.

В общем и целом подобная система оценки существует в Новосибирской области уже 8 лет. За такой срок нельзя не извлечь существенные уроки. Как отмечает Юлия Захир, при построении РСОКО нужно помнить, что:

– процедура оценки не может быть придумана, не может быть создана только потому, что «так надо». Она всегда разрабатывается под конкретного заказчика, с пониманием возможных результатов и последствий.

– необходим поиск информационных партнеров, чтобы результаты исследования «работали».

– оценка – развивающаяся процедура, для совершенствования которой важна преемственность в инструментарии, организации ее проведения и т.д.

И хотя эксперты признают РСОКО Новосибирской области грамотной и квалифицированной, разработчики готовы сделать ее еще более совершенной. В частности, в числе ближайших задач региона в этом направлении доработка нормативного обеспечения системы, совершенствование кадрового состава исследователей, самого инструмента оценки, развитие партнерства с организациями и СМИ, которые помогают в разработке вариантов подачи результатов исследований для различных видов аудитории. Также в регионе нацелены на развитие методов независимой оценки.

Естественно, что рассказ о подобном успешном опыте создания региональной системы оценки качества образования не мог не заинтересовать слушателей вебинара. Они задали большое количество вопросов. Многие из них предвосхищали то, о чем Юлия Захир говорила в ходе своего сообщения.

По окончании вебинара Игорь Вальдман отметил, что Новосибирской области удалось продемонстрировать, как регион в опережающем темпе решает федеральные задачи. Он отметил, что основным стимулом для Новосибирска, скорее всего, явилась личная потребность в оценочном инструменте, без которого сегодня не обойтись и поблагодарил Юлию Захир не только за качественную работу, но и за желание поделиться тонкостями этой работы с коллегами по всей стране.

В ближайших планах РТЦ много интересного. Так, уже 25 ноября состоится очередной вебинар на тему «Что такое индивидуальный прогресс школьника и как его можно мерить». Впрочем, работа центра строится не только на онлайн-общении. 28-29 ноября здесь вживую встретятся те, кого интересует вопрос оценки информационно-коммуникационной компетентности выпускников основной школы.

Материалы прошедшего вебинара по теме «Построение системы оценки качества образования: региональный аспект» доступны по адресу: http://www.rtc-edu.ru/trainings/webinar/284.

Фото автора