Продолжение. Начало в №48-52 за 2017 год

11:18. Что важнее?
Задания любого международного сравнительного исследования качества образования конструируются так, что ребята во всех странах приблизительно одинаково справляются с ними. Но вопросы разные. На один можно получить в среднем 70‑80 процентов правильных ответов, на другой - только 40‑50 процентов. Некоторые задания для учащихся той или иной страны оказываются более легкими или более сложными по сравнению со средними показателями. Организаторам всегда важно понять, почему. Эксперты считают, что на большой разрыв в первую очередь может влиять неточный перевод задания с английского на язык тестирования или некорректная формулировка разработчиков. Иногда трудности могут быть вызваны национальным контекстом, прежде всего учебными программами, методиками обучения.
В исследовании ICCS-2016 было 88 заданий. Одиннадцать из них, что составляет 12,5%, оказались для российских восьмиклассников намного легче, чем можно было предположить исходя из среднего международного значения. С восемнадцатью заданиями (20,4%) нашим восьмиклассникам было труднее справиться, чем большинству зарубежных учащихся.
Что касается более легких вопросов, то здесь разница между количеством детей, которые справились с заданием, в России и в среднем по исследованию очень серьезная. Она находится в диапазоне от 44% до 12% . Пять вопросов дают разницу от 26% до 20%, еще пять - от 19% до 12%. О чем это свидетельствует? Наши школьники знают определенные темы и умеют применять полученные знания для анализа конкретных ситуаций лучше, чем их зарубежные сверстники.
Так называемые трудные вопросы, когда национальный показатель ниже международного, на самом деле оказались не очень трудными. Максимальная разница - 10% (1 вопрос). Далее по убыванию: 8% - 1 вопрос, 6%, 5%, 4%, 2% - по 3 вопроса, 3% - 1 вопрос и 1% - 3 вопроса. Трудности, как правило, вызваны тем, что в 8‑м классе еще не изучались темы, с которыми были связаны задаваемые вопросы.

Что оказалось легче?
Самым легким для российских школьников оказалось задание, где требовалось указать две причины, почему обществу выгодно, чтобы учащиеся кроме своей собственной истории и культуры понимали еще историю и культуру других стран. Содержание этого вопроса относится к домену «Гражданские принципы» (подобласть «Социальная сплоченность»). Отвечая на этот вопрос, школьники демонстрируют умение рассуждать и применять полученные знания. Ответы сводились к трем категориям: повышение знаний и понимания своего собственного общества/культуры или его места в мире; повышение терпимости, гармонии, социальной сплоченности, принятие различий, уважение других культур; восприятие мира как единого целого. Среди ответов были, например, такие: «Можно взять идеи, которые нравятся из истории другой страны, для использования в своем мире» («свой мир» интерпретируется в этом ответе в большей степени как в «своей стране», чем как обобщение на весь мир), «Если учащиеся узнают о различных культурах, они будут понимать, что на самом деле они не так и отличаются друг от друга», «Это поможет людям увидеть мир с другой стороны, расширит их горизонты».
С этим заданием справились 69% российских восьмиклассников. Это на 44% больше, чем в среднем по исследованию. Такой же вопрос присутствовал и в предыдущем исследовании, которое проходило в 2009 году. Тогда ответивших правильно было 48%.
Среди заданий было и такое: «Игорь недавно освободился из тюрьмы. Он провел в тюрьме три года за домашние кражи. Петр только что переехал в дом по соседству с Игорем. Петр считает, что Игорь может что-нибудь украсть из его дома, поэтому он не должен жить рядом». Нужно было выбрать один из ответов, лучше всего объясняющий, почему Игорю позволено жить по соседству с Петром. Варианты ответов были следующие: 1. Игорь имеет право вернуться в общество полноценным его членом, после того как отбыл наказание в тюрьме. 2. Маловероятно, что Игорь будет красть из дома своих соседей. 3. Игорь может научиться доброте, только если окружающие будут добры к нему. 4. Игорь может научиться у Петра жить в обществе.
Именно это задание внесло сумятицу в ряды зарубежных экспертов из IEA (Международной ассоциации по оценке учебных достижений учащихся). Потому что 97% российских учащихся выбрали первый вариант, дав на 27% больше правильных ответов, чем в среднем по исследованию. В предыдущем цикле число правильно ответивших в России было на 38% меньше. Такое значительное увеличение количества правильных ответов и большой отрыв от среднего международного значения насторожили экспертов IEA. Они засомневались в адекватном переводе задания на русский язык. Пришлось проводить лингвистическую экспертизу. Специалисты Института русского языка имени Пушкина не выявили никаких разночтений в задании для пробного и основного исследований. Другая экспертиза подтвердила точность перевода задания с английского языка. Собственно, объяснение высоких результатов очень простое. Эта тема в курсе обществознания изучается в третьей четверти, тестирование проходило в начале четвертой, в памяти восьмиклассников еще свежи были дискуссии и обсуждения этой проблематики на уроках.
Весьма легким для российских учащихся оказалось задание, где нужно было указать один из четырех законодательных актов (Трудовой кодекс, договор, Всеобщая декларация прав человека, Конституция), который включает в себя определение обязанностей и прав людей и регулирует функции государства. 76% российских школьников правильно ответили на этот вопрос, что на 23% выше, чем в среднем по исследованию. Этот показатель тоже объясняется тем, что на уроках обществознания довольно много времени уделяется изучению Конституции.
Легко справились ребята и с вопросом о роли парламента. В среднем по исследованию только 41% учащихся считают, что главная задача парламента - принимать новые законы. В России в этом уверены 63% восьмиклассников, что на 22% больше, чем средний показатель ICCS. Не было никаких сложностей и с заданием про депутата парламента Казанова, который проводит много времени, общаясь с людьми, что живут в его избирательном округе. Нужно было указать две причины, зачем Казанов разговаривает со своими избирателями. 74% учащихся из России справились с этим вопросом, опередив своих зарубежных сверстников на 20%.
Еще в одном задании нужно было определить, о какой группе граждан должны согласно демократическим принципам заботиться депутаты. Только о людях, живущих в их районе и имеющих власть? Обо всех гражданах и жителях страны? Обо всех людях, чьи политические взгляды совпадают со взглядами парламентариев? Только о людях, которые голосовали за депутатов на последних выборах? 92% российских школьников выбрали правильный ответ - депутаты должны заботиться обо всех гражданах и жителях страны. Это на 12% больше, чем в среднем по исследованию.
Из 11 вопросов, с которыми наши школьники справились гораздо легче, чем их зарубежные сверстники, 3 (27,2%) принадлежали к заданиям с открытым ответом, то есть надо было высказать свое мнение по изложенному вопросу, привести аргументы, которые подтверждали бы ту или иную позицию, сравнить два факта и оценить их.
Чтобы ответить на чуть меньше, чем треть вопросов, нужно было обладать знанием определенных политических, социальных и граждановедческих понятий и концепций. 72,8% вопросов требовали умения рассуждать, анализировать факты и явления и применять полученные знания, для того чтобы сформировать свою позицию по той или иной проблеме. Что касается содержания, то пять вопросов касались домена «Гражданское участие», четыре были связаны с доменом «Гражданское общество и системы», а два остальных базировались на домене «Гражданские принципы».

Что оказалось самым трудным?

Самым трудным оказалось задание, где нужно было объяснить позицию Анны, которая считает, что, хотя голосование на выборах является добровольным делом, это обязанность каждого. Нужно было выбрать одну из указанных причин: 1. Если все будут голосовать, правительство сможет принимать решения, которые устроят каждого. 2. Голосуя, люди могут быть уверены, что кандидат, за которого они отдают свой голос, будет избран. 3. Чем больше людей голосует, тем больше будет рабочих мест. 4. Если голосовать станут все, то избранный парламент с наибольшей степенью вероятности будет представлять волю всего народа. 41% учащихся ответили правильно. В 2009 году таких было 49%. Средний показатель по исследованию на 10% выше.
Вторым по трудности был вопрос, тоже касающийся выборов. Сергей и Олег обсуждают выборы, которые должны в ближайшее время состояться в стране. Сергей: «За кого мне голосовать? Я ничего не знаю о программах кандидатов…» Олег: «Я не могу тебе сказать, за кого голосовать, но я расскажу тебе о политических платформах кандидатов». Почему избирателям важно ознакомиться с политическими программами кандидатов до того, как они проголосуют? Потому что люди будут уверены, что они проголосуют за кандидата, который выиграет выборы? Или потому что люди смогут проголосовать за кандидата, который лучше всего выражает их мнение? Или, может быть, потому что люди будут уверены, что кандидат, за которого они проголосуют, выполнит все обещания, которые он дал в ходе предвыборной кампании? Или потому что люди смогут посоветовать другим, за кого лучше голосовать? По сравнению с 2009 годом правильно ответили на этот вопрос, указав, что, знакомясь с политическими программами кандидатов, они смогут выбрать того человека, который лучше всего будет выражать их позицию, на 12% больше учащихся. Но этот показатель - 52% - все равно на 8% меньше среднего значения по исследованию.
Вызвал затруднения и вопрос, в котором говорилось, что использование каменного угля для производства электричества наносит вред окружающей среде во всем мире. Спрашивалось: на каких людей оказывает влияние ухудшение экологии? Только на людей богатых стран? На всех людей независимо от их места жительства? Только на жителей тех стран, в которых для производства электричества используется уголь? На всех, за исключением тех, кто работает над улучшением окружающей среды? В 2009 году с подобным заданием справились 58% учащихся, что на 5% меньше, чем показатель 2016 года. Международное среднее значение выше российского на 6% и составляет 69%. Надо сказать, что почти четвертая часть российских восьмиклассников посчитала, что ухудшение экологии оказывает влияние только на жителей тех стран, в которых для производства электроэнергии используется уголь.
На шесть процентов наши школьники отстали от среднего международного значения, отвечая еще на один экологический вопрос. Задание звучало так: «Советник на конференции ООН по окружающей среде призвал людей не только думать о мировой экологии, но и предпринимать шаги по ее улучшению внутри своего местного сообщества. Какую мысль хотел донести до людей советник?
1. Экология станет лучше, только если правительства будут теснее сотрудничать друг с другом. 2. Отдельные люди играют определенную роль в улучшении окружающей среды.
3. Ущерб экологии наносится в основном местными сообществами. 4. ООН ничего не может сделать для улучшения окружающей среды». В 2016 году по сравнению с предыдущим циклом с этим заданием успешно справилось на 16% больше учащихся - правильно ответили 50%. Еще 28% выбрали ответ, что экология станет лучше, если только правительства будут теснее сотрудничать друг с другом. Собственно говоря, это утверждение правильное. Если связывать его с вопросом «Какую мысль хотел донести советник?», а не с условием задания. Это одно из подтверждений того, с чем мы сталкиваемся в повседневной школьной практике, когда дети, выполняя задание, не способны удержать внимание на его целостности. Оно дробится в их сознании на фрагменты. Дойдя до решения, они уже не помнят самого условия или стартовой точки, с которой начали выполнение.
Еще один вопрос был о фабрике, разместившей объявление о найме менеджеров по продаже. Реклама оповещает о том, что «нанимаются только взрослые мужчины». Суд признал эту рекламу незаконной. Почему? Потому что реклама утверждает, что только мужчины могут быть наняты? Потому что она ограничила права детей? Потому что она размещена не во всех газетах страны? Или потому что не дает разъяснения, какое количество рабочих мест будет свободно? 66% (международное значение - 72%) выбрали правильный ответ: реклама противозаконна, потому что предлагает места «только взрослым мужчинам». 24% посчитали, что реклама противозаконна, потому что не дает разъяснения, какое количество рабочих мест будет свободно.
Если помните, одним из самых легких для наших школьников было задание про Игоря, который освободился из тюрьмы. Там нужно было выбрать один из ответов, который лучше всего объяснял бы, почему Игорю позволено жить по соседству с Петром. И было еще одно задание, связанное с этой ситуацией. Спрашивалось, что должен понять Петр, чтобы согласиться с тем, что Игорь должен жить рядом с ним. (Каждый из участвовавших в исследовании отвечал на один из двух этих вопросов. Напомню, что в исследовании было восемь тестовых брошюр, которые распределяла между учащимися специальная компьютерная программа. В каждом буклете было по 31 заданию.) Ответ «Петр должен понять, что права Игоря так же важны, как его собственные» выбрали 78%, что на 5% больше, чем в предыдущем исследовании. Международное значение этого показателя - 83%. Разница между количеством правильных ответов на первое и второе задания в России составила 19%, в среднем по исследованию - 12%.
Относительно трудным оказалось задание о тайном голосовании. Спрашивалось, почему в демократических странах применяется тайное голосование. Надо было выбрать один из ответов: потому что люди могут свободно голосовать за того, кому они желают победы; потому что люди могут в последний момент передумать, за кого им голосовать; потому что люди могут быть уверены, что они будут голосовать за кандидата, который выиграет; чтобы у людей была возможность убедить других людей голосовать за своего кандидата. В прошлом цикле было больше тех, кто справился с этим заданием, - 82%. В этом исследовании их стало меньше на 4%. Среднее международное значение - 83%.
Среди так называемых трудных для российских восьмиклассников вопросов не оказалось вопросов с открытыми ответами. Только 6% (1) заданий касались знаний, остальные 94% (17) требовали анализа, рассуждений и умения применять полученные знания. Восемь вопросов были связаны с доменом «Гражданское общество и системы». Пять основывались на содержании домена «Гражданское участие», три касались домена «Гражданская идентичность» и два относились к домену «Гражданские принципы».

​Петр ПОЛОЖЕВЕЦ, главный редактор «Учительской газеты», национальный координатор ICCS-2016

Продолжение следует