​Продолжение. Начало в №48-52 за 2017 год, №7 за 2018 год

Почему дети пропускают задания?
Как я уже писал, элементы теста были сгруппированы в восемь сбалансированных по нагрузке, формату и охвату содержания кластеров. Каждый обучающийся заполнял в течение 45 минут один из восьми тестовых буклетов, состоящих из трех кластеров. Сбалансированная ротация кластеров обеспечивала оценивание более широкого содержания образования, чем то, что предъявлено каждому отдельному ребенку.
В ходе исследования фиксировались вопросы, которые пропускали восьмиклассники. Есть два момента, которые всегда хочется выяснить, глядя на полученные данные. Первый: почему дети пропускают задание? И второй: какие именно задания они пропускают? Что касается ответа на первый вопрос, он довольно прост. Дети не знают ответа. Потому что они просто еще не проходили этот материал. Не обсуждали данную проблему ни в школе, ни дома. Или уже проходили, но изучаемая информация не затронула их. Дети не понимают условия задания. Оно слишком заумно сформулировано. Или переведено дословно, поэтому его смысл затуманивается. Дети, прочитав задание, решают, что на него потребуется слишком много времени и они не справятся с другими вопросами. Мы не сможем понять, какая причина превалировала у тех, кто пропускал тот или иной вопрос. Нет зафиксированных данных. Пропустил ну и пропустил. Гораздо важнее, какие именно вопросы пропущены. Перед тем как заняться этой проблемой, немного статистики. 11% восьмиклассников, выполняя тест, пропустили одно задание, 4,5% - два, 3,5% - три, 1,6% - четыре, 0,35% - пять, 0,07% - шесть. По одному человеку умудрились пропустить 9, 11 и 17 вопросов.

Что пропускают чаще?
Надо сказать, что из всего количества пропущенных заданий три четвертых (75%) приходятся на задания с открытым ответом, когда нужно рассуждать о причинах того или иного явления, объяснить некие факты, сравнить ситуации, и только одна четверть (25%) относится к вопросам с выбором ответа.
Напомню, что тесты включали 88 заданий. Девять из них - это вопросы с открытыми ответами. Количество детей, пропустивших тот или иной вопрос с открытым ответом, колеблется от 12% до 5%. В среднем на каждое задание этого типа приходится 8,3% пропущенных ответов.
Давайте посмотрим, какие задания чаще всего пропускали наши восьмиклассники. На первом месте стоят два задания. «Люди в Семеновске обеспокоены ущербом, который наносится окружающей среде в регионе. Местное правительство хочет получить больше информации от общественности прежде, чем предпримет меры для защиты области. Елена считает, что лучший способ узнать, что люди хотят сделать по этому вопросу, - это организовать собрание жителей города. Анастасия с ней не согласна. Она думает, что было бы лучше провести опрос по этой проблеме. По какой причине стоит поддержать точку зрения Анастасии?» Во втором задании речь шла о том, что в некоторой стране некоторые компании начали импортировать фрукты по очень низким ценам и что фермеры были очень недовольны. Некоторые люди решили покупать только местные фрукты. Как покупка местных фруктов может защитить интересы фермеров? Нужно было указать два возможных варианта. Оба задания пропустили 12% восьмиклассников. Верных ответов на первый вопрос набралось только 24%, на второй еще меньше - 20%.
Десять процентов пропустили задание, в котором говорилось, что «в некоторых странах государство платит деньги работоспособным безработным гражданам, только если они выполняют общественную работу. Государство не платит им деньги, если они отказываются выполнять такую работу». Нужно было привести самый убедительный аргумент в пользу правительства, которое выделяет безработным средства, только если они выполняют общественные работы. Верно ответили на этот вопрос 26% восьмиклассников.
Меньше всего учащихся - всего 5% - пропустили задание, которое касалось депутата парламента Казанова, часто общающегося с людьми, живущими в его избирательном округе. Нужно было указать две разные причины, по которым народный избранник общается со своими избирателями. Чуть больше - 6% - пропущенных ответов к заданию, связанному с иммиграцией в некоторую страну. «Перед тем как иммигранты станут гражданами Бории, они получают книгу об истории, культуре, управлении страной и законах Бории. Как полученная информация может быть полезной новым гражданам Бории?»
Кстати, процент тех, кто все-таки взялся выполнять задание с открытыми ответами и не справился с ним, не закончив или неправильно ответив, гораздо выше, чем количество тех, кто просто пропустил вопрос. В среднем с каждым открытым вопросом не справились 11,2%. Разброс значений находится между 24% и 3%. Больше всего не справившихся с заданием, где надо объяснить, почему надо поддержать точку зрения Анастасии, которая считает: «Чтобы узнать точку зрения людей о защите окружающей среды, надо провести опрос людей по этой проблеме, а не организовывать собрание жителей города, как настаивает Елена». Самым легким оказался вопрос про того самого депутата Казанова, который часто проводит встречи со своими избирателями.

Какие задания легче: на знания или на их применение?
Только в трех вопросах на знания не оказалось ни одного пропущенного ответа. Вот они: «Каждый год Березовская школа привлекает учащихся к работе в местном сообществе. В этом году планируется посадка деревьев в местном парке. С какой целью школа организует такие виды деятельности?», «Каждый человек имеет право на образование. Образование должно быть бесплатным и обязательным», - сказано во Всеобщей декларации прав человека. Почему образование считается одним из прав человека?», «Группа граждан из Ивановска считает, что Алик виновен в воровстве. Они поймали и избили его еще до того, как прибыла полиция. Почему такое поведение граждан недопустимо?» При этом количество правильных ответов на эти вопросы составило 95%, 88% и 80% соответственно.
Больше всего учащихся - 12% (далее разброс составляет от 1% до 0,06%) - пропустили вопрос, с которым мы уже знакомы, - про поддержку Анастасии, которая ратует за опрос, а не за собрание жителей города.
Что касается рассуждения и применения полученных знаний, то здесь только 4 вопроса, которые никто не пропустил. Первый: «В демократических странах во время выборов политические партии публикуют свои политические программы в печатном виде и через Интернет. Почему избиратели должны читать программы перед выборами?» Второй: «Некоторые правительства предоставляют деньги и услуги малообеспеченным людям. Это называется социальным обеспечением. Почему некоторые правительства предоставляют социальное обеспечение?» Третий: «В школе существует клуб для учащихся, интересующихся вопросами окружающей среды. Клуб планирует сажать растения на школьном дворе. Участники школьного клуба хотят попросить Михаила, который занимается выращиванием и продажей растений в этой местности, дать им консультации. Почему школьники хотят попросить у Михаила совета?» И четвертый вопрос: «Врачи без границ» - это организация медицинских работников, которые добровольно работают в странах, где людям требуется медицинская помощь. Что является наиболее вероятной причиной того, что люди добровольно жертвуют своим временем ради работы в такой организации?» Правильно ответили на эти вопросы соответственно 83%, 87%, 90% и 88% восьмиклассников.
Вопрос про Анастасию, который пропустили 12% учащихся, как раз относится к рассуждению и умению применять полученные знания. Это самый высокий показатель в этой категории заданий. За ним следуют два вопроса (по 10% пропущенных ответов), о которых мы уже говорили. Первый касается поддержки позиции государства, которое платит деньги работоспособным безработным гражданам, только если они выполняют общественную работу. Второе задание о защите интересов местных фермеров через покупку их продукции. Далее разброс пропущенных ответов находится в пределах от 1% до 0,06%.
Почему надо поддержать Петрова?
Для оценивания в международном сравнительном исследовании качества граждановедческого образования были представлены четыре содержательные области: «Гражданское общество и системы», «Гражданские принципы», «Гражданское участие» и «Гражданская идентичность». Каждая из этих областей состояла из набора подобластей, включающих элементы, называемые аспектами и ключевыми понятиями.
«Гражданское общество и системы» состоит из трех подобластей - «Граждане» (роли, права, обязанности и возможности), «Государственные учреждения» и «Гражданские институты». В домен «Гражданские принципы» входят четыре под­области - «Справедливость» (все люди имеют право на справедливое отношение), «Свобода», «Чувство общности» (чувство принадлежности, связности и общее видение проблем) и «Верховенство закона» (равное и справедливое применение закона для всех, разделение властей и прозрачность законодательства). «Гражданское участие» включает три подобласти - «Принятие решений» (организационное управление и голосование), «Влияние» (обсуждение, демонстрация, разработка предложений) и «Участие в деятельности сообщества» (волонтерство, участие в организациях, информирование). Область «Гражданская идентичность» базируется на двух подобластях - «Гражданская самооценка» и «Гражданская взаимосвязь» (чувство связи с различными гражданскими сообществами и гражданскими ролями, которые играют люди в каждом сообществе).
Два вопроса (11,1%) домена «Гражданское общество и системы» никто не пропустил. Сюда вошли все те же вопросы про то, зачем избирателям нужно читать программы кандидатов перед выборами и почему некоторые правительства предоставляют социальное обеспечение.
Больше всего учащихся - 13% - пропустили задание: «Музей организовал выставку местных художников, один из художников создал работу, отражающую сильную политическую позицию, которая вызывает несогласие многих людей. Гусев считает, что музей не должен выставлять работу этого художника. Петров с ним не согласен: «Если музей выставит эту работу, это будет способствовать развитию демократии». Почему надо поддержать Петрова?» Правильно ответили на этот вопрос 37% учащихся.
В домене «Гражданские принципы» тоже два вопроса (7,1%), на которые ответили все учащиеся. Один вопрос про расправу над Аликом, уличенным в воровстве, второй касается права каждого человека на образование.
Десять процентов учащихся пропустили вопрос, в котором спрашивалось, по какой причине государство должно платить деньги работоспособным гражданам, которые оказались безработными. Шесть процентов пропустили задание: «Во многих странах учащимся преподают предметы, касающиеся истории и культуры не только их собственной страны, но и других стран. Почему обществу выгодно, чтобы учащиеся имели знания по истории и культуре других стран?» Правильно ответили на этот вопрос 43%.
Среди заданий домена «Гражданское участие» - два вопроса (10%), в которых нет ни одного пропущенного ответа: «Ученический совет должен выбрать кого-то, кто будет руководить деятельностью группы в школе. Три человека хотят быть руководителями этой группы. Какой способ выбора руководителя группы является наиболее демократичным?», «Во многих странах правительство принимает законы, ограничивающие показ тех или иных фильмов. Это называется цензурой. Почему многие правительства считают осуществление цензуры своей обязанностью?» Правильно ответили на эти вопросы 80% и 90% учащихся.
Область «Гражданская идентичность» включала четыре вопроса. Все ответили на вопрос про «Врачей без границ». При этом верных ответов было 88%. Три остальных вопроса - «Советник на конференции ООН по окружающей среде призвал людей не только думать о мировой экологии, но и предпринимать шаги по ее улучшению внутри местного сообщества. Какую мысль хотел донести до людей советник?», «Общеизвестно, что использование такого топлива, как уголь, для производства электричества наносит вред окружающей среде во всем мире. На каких людей оказывает влияние ухудшение экологии?», «Игорь недавно освободился из тюрьмы. Он провел в тюрьме три года за домашние кражи. Петр только что переехал в дом по соседству с Игорем. Петр считает, что Игорь может украсть что-нибудь из его дома, поэтому ему нельзя разрешить жить рядом. Какая из причин лучше всего объясняет, почему Игорю надо разрешить жить по соседству с Петром?» - пропустили соответственно 7, 3 и 1 человек, что даже не является стандартной погрешностью. Правильных ответов на первый вопрос было 51%, на второй - 63% и на третий - 79%.
Как показал анализ, больше всего пропускают задания, и в первую очередь с открытым ответом, те учащиеся, кто находится ниже базового уровня или на нем (ниже 394 баллов). Ни один из учащихся, продемонстрировавших достижения третьего уровня - выше 563 баллов, не пропустил ни одного вопроса.

Продолжение следует

Петр ПОЛОЖЕВЕЦ, главный редактор «Учительской газеты», национальный координатор ICCS-2016