Независимая диагностика МЦКО: вопросы и ответы

Московский центр качества образования в течение каждого учебного года проводит большое число мероприятий по оценке образовательных достижений обучающихся. Наиболее важны и востребованы, с нашей точки зрения, внешние независимые диагностики учебных достижений. Но тут возникает много вопросов, ответить на которые мы попросили директора МЦКО Алексей Рытова.

– Алексей Иванович, а какие вопросы школы задают чаще всего? – Несмотря на то что такая форма работы в Москве существует уже на протяжении трех лет и мы постоянно даем разъяснения по этой процедуре, к нам продолжают поступать различные вопросы, касающиеся организации и содержания внешних независимых диагностик. – Тогда первый вопрос будет таким: зачем школе участвовать в диагностиках?- В каждой школе существует система внутреннего мониторинга качества образования. Оценка учебных достижений обучающихся – важнейшая часть этого процесса. Если такой мониторинг ориентирован только на использование внутренних материалов (контрольных работ, диктантов), которые готовят учителя школы, то у педагогического коллектива может сложиться субъективная картина оценки учебных достижений. Кроме того, в этом случае отсутствует возможность сравнивать успехи своих школьников с достижениями учащихся других образовательных организаций. Таким образом, участие в независимых диагностиках учебных достижений позволяет школам получать объективную информацию о качестве обучения, сравнивать результаты своих учащихся с результатами по городу или округу, знакомиться с достижениями лучших образовательных организаций и ориентироваться на них. Анализ ошибок и недочетов по результатам каждой из диагностик позволяет своевременно корректировать процесс обучения для достижения в дальнейшем более высоких результатов. – Сколько классов в параллели должны участвовать в независимой диагностике и кто это определяет?- Школа сама решает, на какие диагностики записываться и сколько классов будут принимать в ней участие. Поскольку все диагностики проводят по годовому плану, то у администрации школы есть возможность еще до начала учебного года ознакомиться с перечнем мероприятий и включить выбранные диагностики в план внутреннего мониторинга качества образования. Конечно, здесь бывают свои крайности. Некоторые школы стремятся получить в независимых диагностиках самые лучшие результаты и выставляют на все мероприятия всегда один лучший класс в параллели. Другие пытаются весь внутренний мониторинг перевести на рельсы независимой диагностики и заявляют на каждую диагностику сразу все классы данной параллели. Конечно, не стоит придерживаться этих крайностей, ведь, например, в первом случае не достигается главная цель независимых диагностик – получение администрацией школы объективной информации о результатах обучения. Кроме того, расписание независимых диагностик таково, что в один день можно проводить по два мероприятия для одного и того же класса, например, в сентябре этого учебного года диагностики по русскому языку и математике для 7-го класса проводили 18 сентября, а для 9-го класса – 25 сентября. Понятно, что один класс не может принимать участие сразу в двух мероприятиях в один день, поэтому на каждом этапе в рамках одного направления диагностики (предметной или метапредметной) можно заявить только один класс. Во втором случае, когда на диагностику заявляется сразу вся параллель (например, десять классов), мероприятие становится крайне затратным, ведь в школу должны приехать 10 независимых наблюдателей, вряд ли это целесообразно. Поскольку варианты диагностических работ оставляют в школе, то лучше заявить на независимую диагностику 1-2 класса, а потом провести своими силами по тем же материалам диагностику и в остальных классах. – Решение о диагностике принимает школа, а нужно ли при этом получать согласие родителей на участие в диагностике?- Как правило, независимая диагностика учебных достижений такое же оценочное мероприятие, как контрольная работа или сочинение, которые обычно проводит учитель. В этом случае согласие родителей, как и на обычную контрольную работу, получать не нужно. Однако в Москве ежегодно проводится комплексная диагностика образовательных достижений в начальной школе, которая предполагает анкетирование детей и родителей. Здесь используются разнообразные личные данные, речь идет не только об учебных достижениях, но и о различных индивидуальных особенностях учащихся. Для участия ребенка в такой комплексной диагностике обязательно нужно получать согласие родителей. – Что происходит, когда администрация заинтересована в объективной информации о результатах обучения, но не хочет, чтобы плохие результаты стали известны вне стен школы?- В Москве реализуют не только принцип добровольного участия в независимых диагностиках, но и возможность для школ самостоятельного принятия решения о сохранении результатов диагностик в общегородской информационной сети (Московский регистр качества образования – МРКО). В течение двух недель после размещения результатов диагностики в МРКО администрация образовательной организации может проанализировать полученные данные, используя пояснения и рекомендации специалистов МЦКО, которые размещают на сайтах МРКО (в личных кабинетах) и МЦКО, и на основе анализа решить, какие результаты сохранять в портфолио школы. Такая система позволяет школе проверять слабые классы, не рискуя «засветить» плохие результаты. Однако стоит напомнить, что если за две недели решение о невключении результата в МРКО принято не было, то результаты автоматически сохраняются. Подчас администрация выбирает для независимой диагностики те классы, в которых преподающие этот предмет учителя в ближайшем будущем планируют проходить аттестацию. Несомненно, это очень важное направление, тем более что сохраненные школой результаты автоматически попадают и портфолио учителей, а следовательно, в дальнейшем будут учитываться при аттестации. – При записи на диагностику МЦКО запрашивает дополнительную информацию, например: имена и фамилии обучающихся, их отметки за последний этап промежуточной аттестации, учебники, по которым работают в данном классе. Обязательно ли вносить эти данные в МРКО?- Что касается первой части вопроса, то без списка учеников МЦКО не сможет разместить результаты диагностики в личных кабинетах учащихся, значит, их родители не получат доступа к этой информации. Правда, скоро такая необходимость отпадет, так как МРКО – информационно-аналитическая система Департамента образования. В связи с этим уже произошла интеграция МРКО с реестром учреждений ДОгМ и запланирована интеграция с реестром «Контингент». Поэтому в ближайшее время необходимость заполнения ФИ учащихся при заявках на диагностику отпадет: они будут попадать в систему автоматически. Отметки за промежуточную аттестацию позволяют оценить соответствие результатов диагностики школьным отметкам. Корреляция результатов тестирования со школьными отметками позволяет оценить надежность измерительных материалов, МЦКО постоянно следит за этим показателем качества тестов. С другой стороны, расхождения в 2 и более баллов между результатами диагностики и школьной отметкой сигнализируют учителю и администрации школы о несоответствии внутришкольного оценивания объективным результатам тестирования. Что касается данных об используемых учебниках, то в МЦКО проводят анализ для всех участников диагностики в целом. Корреляционный анализ дает также возможность посмотреть на различия в результатах изучения отдельных тем или формирования отдельных видов деятельности при работе школ по разным учебно-методическим комплектам. Это позволяет выявлять достоинства и недостатки тех или иных учебно-методических комплектов (УМК) и в итоге делает выбор УМК учителями более осмысленным.- В каких случаях результаты школы могут быть признаны недостоверными?- Результаты независимой диагностики школы (или конкретного класса) могут быть признаны недостоверными, мы принимаем во внимание два фактора:     анализ бланков ответов учащихся;    анализ отзывов независимых наблюдателей о соблюдении технологии тестирования.Результаты класса признаются недостоверными, если в большинстве бланков были исправлены ответы к нескольким заданиям. Кроме того, мы используем специальную программу, которая анализирует частотность одинаковых неверных ответов в классе и фиксирует, таким образом, списывание. При этом мы обязательно учитываем замечания, изложенные независимым наблюдателем в акте наблюдения: плохая дисциплина, подсказки учеников, несоблюдение технологии тестирования.- Если день проведения диагностики, который указан в плане МЦКО, школе не подходит, может ли она заказать ее проведение на другой день? – Независимая диагностика – удовольствие отнюдь не бесплатное. Если диагностика проходит, например, 2 октября, то после ее проведения варианты работы считаются открытыми и к работе именно с этими вариантами можно подготовиться, как это случалось с вариантами КИМ ЕГЭ, оказавшимися накануне экзаменов в Интернете. Соответственно на следующий день диагностику с независимым наблюдателем нужно проводить уже по новым материалам, что приводит к дополнительным затратам бюджетных средств. Поэтому лучше либо пересмотреть расписание своих мероприятий и принять участие в независимой диагностике в запланированный день, либо провести ее в режиме внутреннего мониторинга в другой день. – Если в школе используют другую программу по предмету и предлагаемая диагностика ей не подходит, может ли она заказать диагностику с другим содержанием?- Как правило, предметные диагностики, которые проводят в течение учебного года, ориентированы на программы наиболее распространенных в городе учебно-методических комплектов. В соответствии с заданием Департамента образования МЦКО готовит один комплект вариантов на каждую диагностику. Если школа хочет получить индивидуальные измерительные материалы, то она может их заказать за счет собственных финансовых ресурсов.- Кто в школе принимает решение об участии классов в диагностике?- В большинстве школ план внутреннего мониторинга качества образования и участия в мероприятиях внешней диагностики обсуждают на педсоветах, и утверждает его директор школы. На основе этого плана ответственный за работу в МРКО администратор заявляет классы на участие во внешней диагностике.- Как администрация должна работать с учителем, если его класс заявлен на независимую диагностику?- Перед проведением диагностики нужно проследить, чтобы учитель своевременно ознакомился со спецификацией, кодификатором и демоверсией. Напомню, что эти документы размещают на сайте МЦКО уже за месяц до запланированного дня диагностики. Следующий немаловажный аспект – подготовка учащихся к бланковой форме тестирования. Здесь нужно изучить инструктивные материалы, которые также размещают на сайте, и заранее ознакомить учащихся с правилами оформления бланков и особенностями записи ответов на задания различного типа. После получения результатов диагностики они автоматически загружаются в кабинеты школ в МРКО, после чего необходимо зафиксировать обнаруженные проблемы, проследить, чтобы по всем неосвоенным элементам содержания или умениям была организована коррекционная работа. Поскольку все результаты помещают также и в личные кабинеты учеников, желательно, чтобы и коррекционные мероприятия (дополнительные задания, расписание консультаций) были там тоже отражены, чтобы и родители могли видеть, насколько успешно их ребенок ликвидирует выявленные пробелы. Помимо инструктивно-методических материалов, размещенных на сайте МЦКО в разделе «Мониторинг и диагностика», на этапах подготовки и анализа результатов в работе могут помочь материалы вебинаров, регулярно проводимых МЦКО (см. график вебинаров http://mcko.ru/webinar/). На вебинарах обсуждают вопросы, связанные с содержанием диагностических работ, порядком проведения тестирований, анализируют обобщенные результаты диагностик. Принимая непосредственное участие в вебинаре, школа и педагоги могут задавать интересующие их вопросы, делиться своим опытом, а скачивая записи прошедших вебинаров, использовать материалы для методических совещаний с учителями. – Предположим, что после диагностики школы получили результаты по классу. Как определить, высокий или низкий результат они получили?-     В рекомендациях МЦКО, которые размещают в кабинетах школ в МРКО одновременно с результатами, есть информация об общих результатах по городу и пояснения по интерпретации результатов классов (школ). Среди показателей, которые получает класс – участник диагностики, есть показатель, который называется «коэффициент результативности». Он определяется по формуле: Ri = Xi / Хср., где Xi – результат выполнения диагностической работы обучающимися данного класса, Xср. – результат выполнения работы в среднем по всем ОУ, участвующим в такой диагностике. Коэффициент результативности Ri = 1 – это средний результат выполнения диагностической работы в целом по всем образовательным организациям, участвовавшим в диагностике. Значение Ri >1 означает превышение результатов класса над средними показателями по городу, наиболее значимыми считаются коэффициенты результативности, превышающие 1,2. Значения Ri < 1 говорят о более низких результатах, чем в среднем по городу, а критическими показателями здесь будут коэффициенты менее 0,8. Кроме этого, необходимо сравнить результаты выполнения по контролируемым элементам содержания или видам деятельности, сравнив их с общегородскими показателями. – Какие диагностики МЦКО предлагает для школ, осуществляющих переход на стандарты второго поколения?- Система диагностических мероприятий МЦКО предполагает использование измерительных материалов как в соответствии с федеральным компонентом государственного образовательного стандарта, так и в соответствии с ФГОС. Если для стандартов предыдущего поколения разрабатывают лишь предметные тесты, то в качестве сопровождения введения ФГОС школам предлагают как предметные, так и метапредметные измерительные материалы. В этом учебном году запланированы мероприятия для 1-4-х классов начальной школы, 5-6-х классов основной школы и для 10-х классов, участвующих в пилотном проекте по введению ФГОС. Здесь мы предлагаем как процедуры независимой диагностики, так и широкий спектр измерительных материалов для внутреннего мониторинга учебных достижений в школах, реализующих ФГОС. Для оценки метапредметных результатов мы предлагаем измерительные материалы по пяти различным направлениям: диагностика познавательных метапредметных умений, межпредметных понятий, грамотности чтения, компетентности в области решения проблем и диагностика коммуникативных и регулятивных умений в рамках наблюдений за проектной деятельностью учащихся. В начале учебного года на сайте МЦКО мы публикуем распоряжение Департамента образования, в котором указаны не только название и даты проведения каждой диагностики, но и на оценку требований какого из стандартов направлено мероприятие.Информация к сведениюФедеральная служба по интеллектуальной собственности зарегистрировала в качестве правообладателя информационно-аналитической системы «Московский регистр качества образования» (ИАС МРКО) город Москву, от имени которого выступает Департамент образования (свидетельство №2013661983 от 20 декабря 2013 года).