Как оценить индивидуальный прогресс первоклассников?

Третий в этом году вебинар Российского тренингового центра Института образования НИУ ВШЭ, состоявшийся 17 апреля, затронул интересную и по сути новую для российского образования тему: «Стартовая диагностика детей на входе в начальную школу и оценка их прогресса в течение первого года обучения». Разбиралась проблема на основе методологии и результатов первого этапа международного исследования iPIPS, которое было апробировано в нашей стране в минувшем году.

Для тех, кто постоянно «посещает» вебинары РТЦ новое название центра, пожалуй, было несколько непривычным. Как отметил директор РТЦ Института образования НИУ ВШЭ Игорь Вальдман, центр совсем недавно обрел в лице института новую площадку, что в перспективе позволит говорить на вебинаре о более широком спектре тем. Поблагодарил Игорь Вальдман и предыдущую площадку – Институт управления образованием РАО, которая дала жизнь этому начинанию.

Площадки меняются, традиции остаются. Со вступительным словом к участникам вебинара вновь обратился научный руководитель Центра мониторинга качества образования Института образования НИУ ВШЭ Виктор Болотов. Он отметил, что число участников весьма внушительно: в этот раз на вебинар зарегистрировались представители почти 400 образовательных организаций из 36 регионов РФ и 7 стран – Азербайджана, Беларуси, Казахстана, Армении, Молдовы, Кыргызстана и Приднестровской Молдавской Республики. По словам Виктора Болотова, этот вебинар отличался тем, что появилось много новых участников, и поэтому он решил дать более объемную картину того, что происходит в области мониторингов и исследований в нашей стране.

Россия участвовала и продолжает участвовать в таких исследованиях, как PISA, TIMSS, и ряд регионов уже сегодня начал подготовку к участию в PISA-2015. Продолжаются у нас в стране и «измерения с высокими ставками». ЕГЭ и ГИА 9, как отметил Виктор Болотов, по-прежнему выполняют ненужные функции оценки муниципалитетов, органов образования субъектов РФ. Это будет меняться, но не путем запрета использования, а с помощью введения различных мониторингов. И НИУ ВШЭ уже активно работает в этом направлении. Один из таких проектов – международное исследование iPIPS – должен будет заполнить пустующую нишу оценки индивидуального прогресса учеников в начальной школе. Более подробно о содержании проекта и методологии исследования рассказала директор Центра мониторинга качества образования Института образования НИУ ВШЭ Елена Карданова.

The International Performance Indicators in Primary Schools project (iPIPS), по словам Елены Кардановой, представляет собой инструмент мониторинга готовности ребенка к обучению в школе и его индивидуального прогресса в течение первого года обучения. Это международное исследование было разработано Центром оценивания и мониторинга британского Университета Дарема еще в 1994 году и с тех пор непрерывно совершенствуется. Прежде его участниками становились в основном англоязычные страны (Англия, Австралия, Гонконг, Новая Зеландия, ОАЭ, Шотландия). Только в одной Великобритании на данный момент уже опрошено более 1 млн. детей. В минувшем году в число участников исследования влилась и Россия. Также в качестве пилотов проекта выступают Германия, Нидерланды, Словения и др.

Как и у любого исследования, у iPIPS есть ряд вопросов, на которые оно может дать ответ. В частности по результатам оценки можно судить о том, какова эффективность различных программ дошкольного обучения, какой прогресс получают дети за первый школьный год, какими факторами это обусловлено и т.д. И, конечно же, данные этого исследования при умелой интерпретации могут помочь специалистам понять, как улучшить работу учителей и школ.

Россия, как уже отметил Виктор Болотов, с середины 90-х годов достаточно активно выступает в целом ряде международных оценочных проектов, но планирует участвовать и еще в одном – iPIPS. Это обусловлено в первую очередь тем, что, несмотря на все многообразие оценочных процедур, они в основном ориентированы на исследование результатов детей более старшего возраста. Международных исследований начальной школы крайне мало. Можно, например, упомянуть, известный профессиональному сообществу канадский проект Early Development Instrument (EDI). Однако он не получил широкого распространения, и его минус в том, что он не оценивает индивидуальный прогресс ребенка.

Что же касается исследований внутрироссийского уровня, то здесь налицо многообразие качественных методик, у которых, тем не менее, тот же недостаток – они не нацелены на изучение индивидуального результата младшего школьника. Самое известное на данный момент исследование готовности детей к школе проводилось РАО в 2007-2010 годах. Тогда оно охватило 5 регионов страны.

Если же обобщить ситуацию, то на текущий момент мы имеет методики, которые, по словам Елены Кардановой, не позволяют выйти на их массовое применение. Это связано во многом с тем, что пока еще нет данных, обосновывающих качество и валидность этих методик на таком уровне. Когда эта проблема была осознана, было решено обратиться к iPIPS.

Тем не менее, Виктор Болотов в ответ на справедливые вопросы участников вебинара о месте этого исследования в системе уже сложившихся оценочных практик для начальной школы, отметил, что iPIPS не отменяет и ни в коем случае не мешает существованию других диагностических материалов. В идеале их и должно быть много.

iPIPS выгодно отличает от других то, что по каждому ребенку здесь можно получить индивидуальную информацию о прогрессе за первый год обучения, поскольку исследование идет в два этапа – на входе в обучение и по окончании первого класса. Кроме того, удобно оно еще и тем, что тестирование идет в мягкой игровой форме, не создает стрессовой ситуации. Правда, как отметила Елена Карданова, делать окончательные выводы пока рано. Дети младшего школьного возраста – это весьма специфическая аудитория: ребенок может внезапно замкнуться, перестать отвечать на вопросы, ему просто может не понравиться интервьюер. По крайней мере, в ходе подготовки к исследованию, все эти ситуации проговариваются и подбираются способы их решения. Таким образом, iPIPS – это уникальный инструмент, который обязательно необходимо адаптировать для отечественного применения.

Именно сейчас, по словам Елены Кардановой, идет процесс его адаптации: разработка русскоязычной версии, апробация двух циклов измерений, проведение исследований по адаптации. Эксперты должны понять, функционирует ли инструмент так, как было задумано его разработчиками, полезен ли он для российских школ и т.д.

Так, уже готов весьма интересный, красочный буклет с заданиями, который помогает первокласснику раскрепоститься и не воспринимать исследование как что-то строгое и скучное. Это замечание вызвало у аудитории вопросы, поскольку участники вебинара захотели определиться с тем, на какую аудиторию рассчитано исследование, может ли оно быть применимо у детей с особыми образовательными потребностями, с проблемами развития.

Весьма уместно Виктор Болотов заметил, что пока действительно речь идет о том, чтобы проводить исследование на обычных детях. Если мы будем говорить, например, об изучении индивидуального прогресса ребят с проблемами по зрению, понятно, что понадобятся не яркие материалы, а специальные шрифты и другие подходы.

Кроме того, в структуре материалов iPIPS находится анкета для родителей и опросники для учителей, которые помогают дополнить контекст исследования. Так, родительская анкета, которую мамы и папы заполняют в течение 10 минут, помогает изучить социально-экономическое состояние семьи, виды активностей, характера общения ребенка, способы его подготовки к школе и т.д. Один из важных аспектов, который в дальнейшем может отследить эта анкета, это влияние национальных особенностей на образовательные достижения. Это особенно важно для детей, живущих в России, для которых русский язык не является родным. Что касается анкеты учителя, то она помогает получить сведения не только о его педагогических подходах, но и профессиональные характеристики социального и эмоционального развития детей в классе.

Первый этап апробации исследования iPIPS прошел в Великом Новгороде и Новгородской области в 2013 году. В этом регионе в тот период насчитывалось порядка 6 тысяч первоклассников, поэтому, чтобы обеспечить репрезентативную выборку по населенным пунктам и типам школ, для участия в исследовании был отобран 331 ребенок (5% от общего числа учащихся первого класса).

Как отметила главный специалист-эксперт по начальному образованию Департамента образования, науки и молодежной политики Новгородской области Светлана Колесникова, регион ежегодно принимает участие в сопоставительных исследованиях международного уровня. В 2013 году участие в iPIPS приняла 21 школа Великого Новгорода (13% от общего числа школ области). Благодаря полученной информации об уровне готовности детей к школе, экспертам региона удалось понять, как дети воспринимают себя, получить конкретные представления о том, какими навыками обладают дети на входе в школу, отследить связь личностного развития и успехов в математике и чтении. По словам Светланы Колесниковой, данные исследования отличала высокая точность.

Поскольку iPIPS изучает как когнитивные, так и некогнитивные навыки, новгородским ребятам пришлось решать математические задачи, демонстрировать навыки чтения и письма, словарный запас, а также выражать свое отношение к различным активностям.

Так, например, среди заданий встретилось предложение написать свое имя и фамилию. В итоге лишь 27% детей при апробации смогли написать их полностью с учетом регистра и, соответственно, получить высший балл.

Задание на узнавание слов и объектов, которое проверяет словарный запас, поначалу предполагало несложные понятия, например, «воздушный змей», «мельница», однако в дальнейшем было решено усложнить его и ввести, например, такие понятия, как «микроскоп» и др.

Задание на повторение слов могло включать в себя даже несуществующие понятия. Задание на чтение было предложено в виде картинок с подписями. По итогам апробации прочитать все слова правильно смогла треть испытуемых, однако 17% не смогли прочитать ни одного.

Учитывая потенциальную разницу в уровне знаний ребят, исследование велось в индивидуальном адаптивном режиме. Если какое-то задание не давалось ребенку, интервьюер предлагал перейти к следующему и т.д. Всего процедура диагностики одного ребенка занимала 20-30 минут.

Полученные данные можно было интерпретировать в рамках трех подходов: нормативно-ориентированного, индивидуально-ориентированного и критериально-ориентированного. Все эти подходы предполагают построение привычной стобалльной шкалы результатов. Если мы говорим о нормативно-ориентированном подходе, то здесь результат каждого участника интерпретируется в зависимости от всей совокупности участников тестирования, второй подход оценивает прогресс за определенный период времени. В рамках критериально-ориентированной оценки на основании баллов и установленных пороговых оценок делается вывод о качественном уровне, которого достиг ребенок.

В общем и целом, с учетом результатов детей и ответов педагогов и родителей на вопросы анкет удалось выявить следующие результаты. Так, например, пока не отмечено статистически значимых различий первичных навыков детей по математике и чтению в зависимости от возраста. Кроме того, оказалось, что результаты мальчиков и девочек по математике не отличаются, однако фонологическая грамотность все же выше у девочек. Дети из райцентров и сельской местности Новгородской области показали одинаковые результаты по математике, но проявилась разница в достижениях по чтению.

В очередной раз была выявлена зависимость результатов детей от образовательного уровня родителей. Так, дети, матери которых имеют высшее образование, лучше понимают математику и лучше читают. Повлияло на результаты и посещение дошкольных организаций: дети, которые ходили в детский сад, имели лучшие навыки по математике и чтению. Тем не менее, Елена Карданова отметила, что в связи с небольшим объемом выборки пока не стоит придавать полученным результатам исключительного значения.

В итоге апробация дала возможность определить, что инструментарий исследования iPIPS можно использовать двумя способами: для анализа системы образования и для индивидуальной диагностики. Если говорить об анализе образовательной системы, то естественно, что будут применяться особые требования к выборке. Она должна быть репрезентативна на уровне муниципалитета или региона, чего удалось добиться при апробации в Новгородской области. Потребителями результатов исследования в данном случае могут явиться в первую очередь органы управления образованием, однако в целях повышения качества и достоверности исследования им необходимо пригласить внешних интервьюеров. В таком случае они смогут получить более точное и непредвзятое представление о факторах, влияющих на прогресс детей в регионе, смогут сравнить УМК и понять, каким образом обеспечить наиболее эффективное повышение квалификации педагогов.

Если же говорить об особенностях индивидуальной диагностики, то выборка здесь должна исходить из того, под какую задачу выстраивается исследование – должны ли учитываться все дети школы, муниципалитета или региона. Проводить исследование в таком случае могут даже учителя и школьные психологи, однако им необходима предварительная подготовка. В таком случае они смогут обеспечить грамотное проведение исследования и представить своим коллегами и родителям первоклассников данные, которые помогут им совместно принять решение о дальнейшем построении образовательной траектории ребенка и скорректировать образовательный процесс.

По словам Елены Кардановой, в планах исследовательской группы, которая ведет проект iPIPS в России, проведение второго этапа апробации на той же выборке, чтобы понять, каков был прогресс детей.

Осенью этого же года начнется широкомасштабное исследование на выборке в 2-3 регионах. В каждом регионе выборка составит уже порядка 1,5 тысяч детей. Весной следующего года исследование повторится на той же укрупненной выборке, чтобы утвердиться в правильности подходов к адаптации исследования. Таким образом, iPIPS станет хорошим рабочим инструментом оценки индивидуального прогресса первоклассников, полностью удовлетворяющим запросам системы отечественного образования.

Как обычно в конце вебинара его организаторы анонсировали ближайшие мероприятия РТЦ. В частности, 22 мая планируется продолжить разговор о независимой системе оценки качества образования. По словам Игоря Вальдмана, будут обсуждаться ключевые вопросы этой темы, также к диалогу будут приглашены представители регионов, где активно ведется эта работа, имеется большой опыт и желание поделиться им с коллегами.

Материалы прошедшего вебинара доступны по адресу: http://www.rtc-edu.ru/trainings/webinar/341.

Фото автора