В поисках достоверности и надежности. Измерение добавленной стоимости не панацея, но работает эффективно

Семинар Института образования НИУ ВШЭ «Актуальные исследования и разработки в области образования» давно зарекомендовал себя как хорошую площадку для профессионального обсуждения сложных вопросов и острых тем. На первом семинаре в новом учебном году профессор в области образования Стэнфордского университета, директор Центра анализа образовательной политики и содиректор Центра анализа образовательной политики Калифорнии Сюзанна Лоеб представила доклад на тему «Оценка и повышение эффективности работы учителя: данные, методы, правила и нормативы». Сегодня эта проблема волнует все мировое образовательное сообщество.

Зачем измерять эффективность учителя? Как отметила Сюзанна Лоеб, по результатам измерений можно, к примеру, понять, кого из специалистов стоит повысить или поощрить, а кому нужна помощь и поддержка. Если говорить о данных, требующих более глубокой проработки, то на их основе можно сделать вывод о том, что влияет на эффективность работы учителя.Важность подобных исследований отметил и директор Департамента образовательных программ НИУ ВШЭ Александр Сидоркин, подчеркнув, что сегодня учитель воспринимается в качестве ключевого ресурса в развитии образования, и поэтому необходимо уделять большое внимание повышению эффективности его работы.Второй вопрос, над которым, по словам профессора Лоеб, стоит задуматься: откуда брать данные? Например, это может быть тестирование школьников. В США существует как ежегодное тестирование на уровне штатов, так и тестирование на федеральном уровне (по английскому языку и математике), которое охватывает учеников с третьего по восьмой класс, и один раз оно проводится в старшей школе.Данные этих тестов позволяют исследователям оценить эффективность образовательной политики и то влияние, которое оказывает на образовательный процесс сам педагог. Так, например, в ходе исследования 2004 года в числе прочего было выявлено, что наибольший скачок в навыках начинающего педагога происходит в первые два года его работы.Существуют, как отметила Сюзанна Лоеб, и другие способы оценки. Так, в 2009 году в 12 крупных образовательных округах США проводилось исследование удовлетворенности школьников работой педагогов. В ряде округов предлагались лишь два варианта ответов: «удовлетворительно» и «неудовлетворительно». Более 99% учителей получили оценку «удовлетворительно». В округах, где было больше вариантов ответа, работа 94% педагогов была признана в целом или почти удовлетворительной. Абсолютно неудовлетворительной – менее чем у 1% педагогов. Правда, вполне вероятно, что к исследованию здесь подошли формально либо дети, опасаясь возможных санкций, могли отвечать не то, что думали на самом деле.      Развитие системы измерения эффективности работы педагогов подтолкнула в США программа 2009 года «Путь наверх». На кону стояло более 4 миллиардов долларов для школ, которые наиболее активно совершенствуют работу учителя и директора. Многие захотели принять в ней участие, и встал вопрос о том, как усовершенствовать работу педагога, если это возможно только на основе точных данных, а получить их пока не представляется возможным.На данный момент, как отметила Сюзанна Лоеб, уже существует три способа измерения эффективности работы учителя. Первый, как уже было сказано, основан на результатах тестирования учеников. Второй предполагает оценку процесса преподавания при участии независимого эксперта, посещающего уроки и по заготовленному протоколу оценивающего работу учителя. Третий вариант – так называемая целостная оценка работы педагога.Первый проректор Московского городского психолого-педагогического университета Аркадий Марголис решил подискутировать с зарубежной коллегой и примерить предложенные варианты к российской действительности. В частности, он подчеркнул, что если говорить о втором типе, то у нас он мог бы быть реализован с учетом профессионального стандарта педагога.По словам Сюзанны Лоеб, чтобы быть базисом для принятия решений, все оценочные процедуры должны отвечать нескольким требованиям. Они должны быть достоверны, то есть, например, давать представление о том, кто хорошо учит, а кто нет. Однако если мы основываемся здесь лишь на результатах тестирования, то рискуем быть обманутыми: достаточно трудно уловить, что повлияло на результаты – работа конкретного учителя или другие контексты. Второй критерий хорошего инструмента – надежность. Это значит, что оценки не только в среднем верны, но и каждый раз, когда происходит измерение, они показывают четкие данные. Третий критерий – стабильность. Здесь разговор идет уже об эффективности работы учителя.В любом случае сегодня, по словам Сюзанны Лоеб, упор делается на данных, которые получают из тестирования школьников.Главное, что можно увидеть по результатам таких тестов, подчеркнула профессор Лоеб, – это добавленная стоимость работы учителя. Правда, нужно постараться вычленить ту меру влияния, которую оказывает на результаты именно педагог. Сделать это непросто, потому что и тесты несовершенны, и охват предметных областей пока небольшой, а намеренные подтасовки результатов и любые другие случайные эффекты непременно искажают картину. Но все же это помогает оценить эффективность работы учителя на основе сравнения результатов ежегодного тестирования школьников.Методы обращения с полученными данными могут быть различны. Это, например, регрессионный анализ. Здесь, по словам Сюзанны Лоеб, аналитики пытаются на основе результатов тестирования и с учетом всех факторов, влияющих на результат, предсказать, как школьник продемонстрирует знания в следующий раз. Добавленная стоимость в таком случае вычисляется на основе средней разницы между предсказанным и полученным результатом.Второй способ анализа – модель роста Колорадо. Здесь высчитывается, насколько школьники продвинулись относительно других учащихся с учетом результатов предыдущего теста. Эти данные и будут источником знаний об эффективности работы учителя. Эти модели разнятся в подходах к учету контекстных факторов и в том, сравнивают ли они учителей всего округа, штата или только по школам, хотя корреляция результатов обычно высокая.Если говорить о том, насколько качественна модель подсчета добавленной стоимости, то здесь, как отметила Сюзанна Лоеб, существует ряд ограничений. Например, есть риск существенных ошибок в измерениях, и не всегда можно понять, из какой области проистекают эти ошибки. Однако порой использование этого метода гораздо показательнее и выгоднее, чем любого другого.Правда, по словам Аркадия Марголиса, измерение добавленной стоимости, как считают оппоненты метода, не может быть единственным или даже основным подходом к оценке эффективности работы. Тем более если речь идет о российской специфике: здесь мы получаем только предметный измеритель, в то время как во ФГОС заложены еще и метапредметные, и личностные результаты.Измерение добавленной стоимости может, по словам профессора Лоеб, хорошо работать в целом ряде ситуаций. Например, в ситуации с увольнениями педагогов. В 2010-2011 годах в США такие решения принимались по принципу стажа. Директорам в этом случае приходилось порой увольнять хороших молодых учителей. Тогда исследователи решили смоделировать ситуацию увольнения, при которой необходимо было сохранить 5% зарплатного фонда, и сравнить эффективность методов. Оказалось, что при использовании метода добавленной стоимости пришлось бы уволить меньше учителей и это оказались бы те, кто больше получает. В противном случае школы при тех же объемах сокращений не смогли бы сэкономить столько же. Более того, был бы велик риск обесточить школы в бедных районах, где много начинающих педагогов.Вторая ситуация, где измерение добавленной стоимости может оказаться полезным, касается системы защиты от увольнения педагогов, которые проработали в школе более трех лет. Долгое время процедура присвоения подобного статуса была автоматической. Периодически некоторые штаты пытались снять эту защиту, потом восстанавливали, где-то пытались сделать процедуру более дифференцированной.Но как понять, кто достоин защиты, а кто нет? Надо измерить эффективность работы педагога. К примеру, сегодня в Нью-Йорке может быть принято решение о подтверждении статуса, о задержке в его присвоении и об отказе. Теперь количество тех, кого закрепили в должности, снизилось до 60%, однако количество тех, кому отказали в защите от увольнения, не увеличилось, оно сохраняется на уровне 2%. Зато стремительно увеличилось число тех, кому задерживается присвоение статуса.Применим этот метод и в ситуации анализа текучести кадров. Ежегодно в США около трети учителей уходят из профессии в первые пять лет работы. В Нью-Йорке 4% учителей 4-5-х классов ежегодно меняют школу, а 10% переезжают в другой штат и т. д. Может показаться, что это оказывает исключительно негативное воздействие на работу школ, однако некоторые исследования, по словам Сюзанны Лоеб, свидетельствуют об обратном. В ходе регрессионного анализа данных выясняется, что действительно результаты школьников по математике на 8-10%, а по английскому языку на 5-6% выше, когда текучесть кадров равна нулю. Однако именно использование метода добавленной стоимости позволяет отделить созидательное влияние, которое текучесть кадров оказывает на работу школ, от деструктивного.И конечно, по словам Сюзанны Лоеб, нельзя обойтись без этого метода, если мы хотим узнать о том, какие знания остались у учащихся по окончании школы и в какой степени они дают им базу для достижения дальнейших успехов. По данным исследований, всего 20% из того, что дает учитель, становится долгосрочным знанием, независимо от предмета – английский язык или математика. Кроме того, выясняется, что многие преподаватели английского оказывают влияние и на усвоение математического материала и т. п.Александр Сидоркин отметил, что это в определенной степени ставит под сомнение профильное образование. Кроме того, он подчеркнул, что представленное исследование в свое время спровоцировало в США политический конфликт, поскольку продемонстрировало революционный сдвиг в оценке образования.