Контекстные факторы: как их применять в образовании

О том, что сравнивать несравнимое, по сути, невозможно и практически бессмысленно, особенно если это касается исследований в образовании, в последнее время говорится слишком часто. Тем не менее, до сих пор в ходу различные рейтинги и мониторинги, которые, не вникая в особенности среды функционирования образовательных организаций, сопоставляют их работу и приходят к выводам, которые могут оказывать сильное влияние на дальнейшую жизнь проанализированных вузов, школ и т.д. Так ли на самом деле важен контекст, как его оценить и правильно соотнести с характеристиками исследуемых образовательных организаций? Об этом шла речь на очередном семинаре Института образования НИУ ВШЭ «Актуальные исследования и разработки в области образования».

Непривычный контекст

Как отметил в самом начале семинара научный руководитель Института образования НИУ ВШЭ Исак Фрумин, проблематика трудных контекстов сегодня является одной и наиболее актуальных. Школы, которые работают с проблемными детьми, из малообеспеченных семей в основном не могут попасть на высокие места в рейтингах, которые производят почти магическое впечатление на общественность. По словам Исака Фрумина, надо добиться того, чтобы в ближайшее время рейтинги совершенствовались, в том числе и широко известный

перечень 500 лучших образовательных организаций, которые продемонстрировали высокие образовательные результаты в 2012-2013 учебном году.

Тем не менее, научный сотрудник Института фундаментальных междисциплинарных исследований НИУ ВШЭ Алексей Бессуднов отметил, что

список Топ-500 школ ценен для общественности и управленцев, поскольку показывает важную информацию о том, где в среднем лучше учатся дети. И использует остаточно качественную базу для анализа – результаты ЕГЭ и Всероссийской олимпиады школьников. Он не менее важен, чем, например, большое исследование, учитывающее особенности и контексты. Вопрос в том, что оба они дают ответы на разные вопросы. Например, если родитель решает, куда отдать учиться ребенка, если стоит такой выбор: в свою сельскую школу, которая берет даже сложных детей и доводит их до хорошего среднего уровня или в школу которая находится в городе и хорошо учит в среднем? Эти школы будут в топе совершенно разных рейтингов.

Тем не менее, говорить о том, что в стране есть сложившиеся традиции учета контекстной информации, по словам

старшего научного сотрудника Лаборатории сравнительного анализа развития постсоциалистических обществ НИУ ВШЭ Гордея Ястребова, пока рано. Согласилась с коллегой и в

едущий научный сотрудник Центра социально-экономического развития школы НИУ ВШЭ Марина Пинская. Она подчеркнула, что у

нас пока просто не

т привычки использовать контекстные данные.

Гордей Ястребов отметил, что в целом нельзя говорить о том, что контекст и

гнорируется полностью, правда, существующие попытки его учета в исследованиях не носят системного характера. В методологическом плане все имеющиеся наработки и подходы отличаются друг от друга и малосравнимы.

Чтобы в рамках семинара говорить об одних и тех же вещах, Гордей Ястребов предложил трактовку контекста в образовании как неких внешних обстоятельств, оказывающих существенное влияние на образовательные организации, которые функционируют в их рамках. Причем, речь идет о наборе факторов, которые участники образовательного процесса далеко не всегда могут контролировать.

Набор контекстных показателей по странам в целом сходен. Так, в Бельгии в рамках образовательного контекста обращают внимание на пол, возраст, миграционный статус семьи, язык внутрисемейного общения, трудности в обучении, образование матери и т.д. В Великобритании в этот список попадает еще и особый фактор – «право на бесплатное питание», в Испании – «возраст на момент иммиграции», повторное обучение, гранты и т.д.

В России среди рекомендуемой контекстной информации для сравнения региональных/муниципальных образовательных систем, значатся такие показатели, как количество посещений музеев на тысячу жителей, количество книг в библиотеках на тысячу жителей, доля сельского населения, миграционный приток и выбытие, собственные доходы местного бюджета на душу населения, уровень безработицы и т.д. Многие из вышеперечисленные параметров можно отнести к показателям социальной уязвимости.

Итак, данные собраны, а что делать с ними дальше? Например, в Австралии существует такое исследование, как National Assessment Program – Literacy and Numeracy (

NAPLAN

). Оно учитывает

Index

of

Community

Socio

Economic

Advantage

ICSEA

), формируемый на основе нескольких контекстных показателей (социально-профессиональный статус и уровень образования родителей, доля учащихся из семей, представляющих этнические меньшинства, доля учащихся с неродным английским, индекс территориальной удаленности школы). Их веса определяются по принципу наибольшего вклада в дисперсию показателей успеваемости. Естественно, что в таком случае исследование оказывается тонким инструментом, скорректированным объемным представлением о ситуации в школах, ученики которых показывают наиболее высокие или низкие результаты. Сравнение здесь происходит в группах так называемых «статистических соседей».

Чилийская национальная оценка

SIMCE

также учитывает контексты. Однако здесь демонстрируется иной подход – выделяются пять социально-экономических групп на основе кластерного анализа таких характеристик контингента как уровень образования родителей, доход семьи, индекс социальной уязвимости школ (индекс бедности, рассчитываемый для определения финансирования питания в школах). После идут сравнения в группах.

В целом, как отметили участники обсуждения, примеров адекватного и оказывающегося полезным учета контекстов можно привести целое множество.

В основе управления – анализ

Основной частью семинара стал доклад Гордея Ястребова на тему «Использование контекстных данных в системе управления качеством образования: теоретические основания, опыт разработки и апробации инструментария».

Докладчик отметил, что в

России контекстные данные учитывались в ряде таких крупных исследований как, например, работа В.С. Собкина и П.С. Писарского, охарактеризовавшая типы региональных образовательных ситуация в РФ, исследование под руководством Д.Л. Константиновского, М.Л, Аграновича. Во многих исследованиях учет данных происходит с помощью процедур «кластеризации», то есть, объединения образовательных учреждений в однородные кластеры или типы, характеризующиеся схожестью условий функционирования.

Тем не менее, по словам Гордея Ястребова, кластерный подход имеет и свои ограничения, потому что всегда надо четко понимать, как определяются рамки кластеров, каково должно быть их число и насколько хорошо сделан выбор оснований для их выделения и т.д.

В исследовании, которое Гордей Ястребов представил в своем докладе, было охвачено почти 1200 школ Московской, Ивановской и Ярославской областей. Изучались результаты ЕГЭ по двум обязательным предметам (математике и русскому языку). В ходе исследования удалось установить, как с результатами успеваемости связаны характеристики социального состава учащихся, организационная, кадровая и ресурсная специфика школ, а также показатели социально-экономического развития территорий, какой вклад они вносят в дифференциацию результатов общеобразовательных школ. В этом экспертам, в частности, помогли социальные паспорта школ (формировались по запросу исследователей на основе показателей успеваемости, кадровых и организационных характеристик учреждения, контингента) и статистические паспорта муниципальных образований (создавались с учетом данных Росстата и открытых источников о степени урбанизации территории, состоянии социальной инфраструктуры, уровне доходов населения).

Таким образом, по словам Гордея Ястребова, в проведенном исследовании удалось учесть контекст на двух уровнях – на уровне школ и муниципальных образований.

В число характеристик контингента учащихся попали такие как, например, доля учащихся из многодетных, неполных, семей, где работает один из родителей, где русский язык не является родным и т.д. Характеристика школ давалась с учетом вида учреждений, численности контингента, среднего возраста учителей и т.д. Характеристика территории основывалась на статусе поселения, численности жителей и др.

Данные параметры в целом близки к тому, что используют и международные исследования, учитывающие контексты в образовании.

Основным методом анализа, по словам Гордея Ястребова, стал множественный регрессионный анализ, который позволил добиться установления связей результатов успеваемости с исследуемым контекстом.

В качестве значимых результатов исследования докладчик назвал понимание положительного влияния на результаты детей ситуации, когда оба родителя имеют высшее образование, и негативного – когда ребенок растет в неполной семье, состоит на различных видах учета и ситуации, когда русский язык не является родным.

Кроме того, если сравнивать средние баллы ЕГЭ по трем регионам, то можно говорить о том, что они статистически неразличимы, но если взглянуть глубже на эти результаты, например, с учетом процента учителей с высшей категорией в регионе, или процента лицеев и гимназии, эти показатели начинают корректироваться.

В целом же по словам Гордея Ястребова, разработанная модель может быть использована с учетом не только результатов ЕГЭ или ГИА, но и любых других показателей результата. Она достаточно проста в обращении, и может быть автоматизирована. Тем не менее, ее следует использовать только в качестве средства первичной диагностики.

Марина Пинская также отметила, что подобная модель регрессионного анализа может быть неплохим подспорьем при принятии управленческих решений. С его помощью можно определить школы, нуждающиеся в адресной поддержке (специальных нормативах финансирования или усилении кадров), учитывать социально-экономические характеристики семей при регулировании набора (поощрять школы, где принимают неблагополучных учеников), а также помогает выявить и распространить практики, обеспечивающие эффективность работы школы.

Не переоценивать, но знать

По большому счету роль контекстов огромна. Об этом говорили участники дискуссии, которая открылась после знакомства с докладом. Как отметил

директор Центра социально-экономического развития школы НИУ ВШЭ

Сергей Косарецкий, сегодня при масштабном внедрении новых форм мониторингов, создании новой общероссийской системы оценки качества образования очень важно включать в эту работу принцип контекстуализации. В стране, по словам Сергея Косарецкого, уже есть регионы, которые в пилотном режиме собирают и используют эти данные, например, для выявления школ, нуждающихся в грантовой поддержке.

Согласился с коллегой

и директор Российского тренингового цента Института

образования НИУ ВШЭ Игорь Вальдман, однако отметил, что пока действительно можно говорить только об осторожном, пробном подходе. Грамотная работа с контекстами станет возможна, по его словам, только тогда,

когда в стране будет создан национальный мониторинг образовательных достижений учащихся. НИУ ВШЭ уже занимается этим вопросом, чтобы в 2016-2017 годах предложить такой инструмент.

Тем не менее, Игорь Вальдман подчеркнул, что контекст тем и сложен, что необходимо отследить влияние одних и тех же условий не один раз, чтобы понять, насколько действительно функционирование школы зависит именно от них.

И сегодня, по его словам, есть уже два больших направления работы с контекстами: выделение факторов, на которые можно влиять, чтобы повысить результат, и также тех, на которые нельзя влиять, но необходимо знать о них и учитывать для справедливой оценки.

Продолжила мысль директор Центра прикладных экономических исследований и разработок НИУ ВШЭ Татьяна Абанкина, отметив, что в целом органы образования не могут влиять, пожалуй, на один из основополагающих контекстных факторов, которые сегодня существуют. Образование остается наследуемым благом, в образованных семьях дети учатся лучше. Марина Пинская также отметила, что хотя мы не можем повлиять на контекст семьи, но школа тоже вносит свой вклад в то, что происходит с ребенком, и изучение контекстов необходимо как раз для того, чтобы усилить этот вклад и в случае необходимости сделать его компенсаторным.

Впрочем, по мнению Игоря Вальдмана переоценивать роль школы порой не стоит. Например, а контексте баллов ЕГЭ. По сути, именно школе мы приписываем главенствующую роль в достижении тех или иных результатов, в то время как есть мощная система внутри и внешкольного репетиторства. С этим согласился и научный руководитель Центра мониторинга качества образования НИУ ВШЭ Виктор Болотов, отметив, что по сути, высокие баллы ЕГЭ – 90 и более – к школе не имеют никакого отношения.

Об осторожности в изучении контекстов заявил и руководитель Центра статистики и мониторинга образования Федерального института развития образования Марк Агранович. Он отметил, что необходимо быть предельно точными, когда мы говорим о

value

added

. Кто это обеспечивает? Школа своей работой с детьми или все определяется тем, что школа так отбирает детей, а соответственно и их семьи, что это оказываются те, кто готов делать крупные вложения в образование ребенка, нанимать репетиторов и т.д. Разобраться в этом можно именно с помощью контекстных данных.

Фото автора