Никакого субъективизма! Внутривузовская оценка качества знаний с использованием E-Learning

В начале 2005 года педагогическим коллективом Вятского социально-экономического института (ВСЭИ) на обсуждение ученого совета была вынесена и принята за основу всей последующей работы новая концепция внутривузовской оценки качества знаний. Принципиальной новизной модели, разработанной в вузе, стало полное отделение процесса обучения от оценки качества знаний учеников*.

Комментарий «УГ»*Материал подготовлен по итогам прошедшей в октябре «Moscow Education Online-2008», Международной конференции по вопросам обучения с применением технологий E-Learning.

Не секрет, что за предыдущие десятилетия во многих вузах сложилась практика, когда тот же самый преподаватель, который в течение семестра ведет у студентов занятия, впоследствии принимает у них зачет или экзамен. Порочность такого подхода к оценке качества знаний очевидна. Перечислим лишь ряд моментов, характеризующих ее с отрицательной стороны:

субъективизм преподавателя в оценке уровня знаний студентов;

субъективное отношение преподавателя к личности студента, сложившееся у него за время общения;

большая дифференциация в качестве освоения учащимися дидактических единиц курса вследствие субъективного представления преподавателя о том, какая информация в изучаемом курсе является наиболее важной, а какая нет;

влияние личных научных интересов преподавателя и его компетенций на глубину и широту изучаемого курса;

потенциальная возможность для коррупционных действий;

возможность применения морального давления или угроз физической расправы с преподавателем, которые могут осуществляться со стороны студентов.

Для борьбы с преподавательским субъективизмом крупные вузы, где, как правило, работают несколько преподавателей, ведущих одну и ту же дисциплину, иногда пытаются проводить аттестационные мероприятия, привлекая других сотрудников. Однако говорить о том, что это существенно влияет на объективность и тем более на полноту оценки знаний, затруднительно. Субъективизм сохраняется. При этом «пятерка» полученная студентом юридического факультета МГУ и студентом юридического факультета какого-нибудь провинциального вуза вовсе не свидетельствует об одинаковом уровне знаний этих людей. Ведь требования к учащимся различаются не только в каждом вузе, но даже у разных преподавателей одного вуза. Влияние человеческого фактора неизбежно.

Проблема дифференциации качества освоения дидактических единиц курса также решается с большим трудом. Даже если стороннему экзаменатору и удастся понять, какие знания у всех учащихся в группе являются поверхностными, то есть из-за субъективного представления преподавателя, осуществлявшего процесс обучения, о том какая информация в изучаемом курсе является наиболее важной. Это не означает, что будут приняты некие меры по устранению имеющегося системного недостатка. Во-первых, экзаменатору может быть совершенно безразлично, что существует системный «пробел в знаниях». Во-вторых, он может счесть, что вскрытие этого недостатка способно испортить его личные отношения с преподавателем, который вел занятия. В-третьих, такое отношение к роли тех или иных дидактических единиц курса может быть следствием точки зрения некоей «научной школы» данного вуза, а экзаменатор и преподаватель придерживаются единой точки зрения по данному вопросу и тому подобное.

Возможность дачи или вымогательства взятки в случае, когда экзамен принимает не тот педагог, который преподавал дисциплину, также присутствует, впрочем, как и фактор угроз и давления на экзаменатора. Преодолевается лишь проблема субъективного отношения к личности студента и то отчасти, поскольку то или иное отношение к человеку возникает уже в момент их первой встречи. Например, неприятие стиля одежды экзаменуемого или его манеры держаться, говорить, сам тембр голоса может оказывать (и как показывает практика – оказывает!) определенное влияние на экзаменатора и ту оценку, которой оценивается качество знаний учащегося. Студенты прекрасно знают об этом эффекте и непременно им пользуются, приходя к одним экзаменаторам в строгих деловых костюмах и очках при минимуме макияжа, а к другим – в весьма откровенных нарядах.

Регулярно сталкиваясь с перечисленными проблемами и желая найти такой механизм, который был бы способен их решить полностью или по большей части, руководство ВСЭИ приняло решение о внедрении концепции полного отделения процесса преподавания от оценки качества знаний учащихся.

Предложение осуществлять контроль качества знаний, привлекая преподавателей других вузов, было сразу отклонено, поскольку оно не решало проблемы субъективизма и «человеческого фактора». Однако к этому времени при Федеральной службе по надзору в сфере образования появились две структуры, призванные осуществлять внешний контроль над качеством образования в вузах. Это Независимый центр тестирования качества обучения (АСТ-центр) и Национальное аккредитационное агентство в сфере образования, которое реализовало идею проведения Федерального интернет-экзамена.

Собственно это и есть идея независимой оценки качества обучения в вузах со стороны федерального центра в лице Рособрнадзора. В обоих случаях в качестве педагогических измерительных материалов использовались тестовые задания, получаемые вузами дистанционно в электронной форме через Интернет.

Как известно, сегодня педагогическое сообщество в России очень неоднозначно относится к возможности широкого использования тестовых измерительных материалов для оценки качества знаний учащихся. Такое настороженное отношение к тестам поначалу было и у сотрудников ВСЭИ. Они внимательно изучили обе тестовые системы, но в связи с большей доступностью в качестве базовой среды выбрали систему АСТ.

АСТ-система обеспечивает объективность, надежность, технологичность, массовость контроля качества знаний студентов. Она может использоваться как для самостоятельного контроля студентами своего уровня знаний и умений, так и для текущих и промежуточных проверок (экзамены и зачеты). Ее преимущества в том, что результат оценивается мгновенно, автоматически фиксируется, сохраняется длительное время. При этом отсутствуют бумажные носители теста и листы ответов, можно оценить как общий уровень знаний студента по дисциплине, так и по ее дидактическим единицам (разделам, темам), время тестирования может быть жестко заданным.

В состав АСТ-системы входят:

плеер (клиентский модуль);

администратор (модуль администратора);

серверные компоненты;

система тестирования;

конструктор и конвертер тестов.

С помощью электронных ключей серверные компоненты определяют одновременное количество пользователей, тем самым обеспечивается защита комплекса от несанкционированного доступа.

Апробировав систему, мы пришли к выводу о том, что тестирование дает результаты ничуть не хуже, чем устные или письменные срезы знаний. По мнению ряда экспертов, применение тестирования для оценки качества знаний способно давать даже лучшие результаты, чем устные экзамены. Главное условие для этого – наличие большой тестовой базы и грамотно составленных тестовых заданий. Важно помнить, что только разработанная система тестов позволяет отделить процесс оценки качества знаний учащихся от личности преподавателя и его взаимоотношений с экзаменуемым.

Для того чтобы максимизировать объективность оценки качества знаний студентов, во ВСЭИ создан отдел качества знаний, независимый от других учебных подразделений. Он подчиняется напрямую проректору по учебной работе. Именно в этом отделе проводится обработка данных всех тестируемых и принимается решение об оценке, которая затем вносится в экзаменационные ведомости и зачетные книжки студента.

Для проведения внутривузовской оценки качества знаний выделены 3 компьютерных класса. При этом для предварительного тренировочного тестирования используются демоверсии экзаменационных тестов, доступ к которым есть во всех компьютерных классах и в медиатеке вуза.

Преподаватель постепенно был отстранен от оценки знаний учащихся и перестал иметь возможность оказывать влияние на итоговую отметку. Однако он наделен правом допуска студента к экзамену или зачету и самостоятельно принимает решение о том, готов ли тот для прохождения независимой аттестации знаний. После того как преподаватель подписал допуск, то уже не только студент, но и он сам несет полную ответственность за результаты, полученные учащимся при аттестации.

Такой подход дает возможность провести независимую оценку знаний учащихся, а также осуществлять постоянный контроль над профессиональным уровнем педагога, повышать ответственность каждого преподавателя вуза за результаты своей деятельности. Если процент учащихся, не допущенных к экзаменационным мероприятиям, превышает установленный порог, администрация кафедры или вуза также делает определенные выводы и принимает соответствующие организационные меры к таким сотрудникам.

В условиях регулярного и независимого контроля над результатами педагогической деятельности преподаватели начинают по-иному относиться к проведению своих занятий, предъявляют повышенные требования к студентам и проявляют большую активность в проведении промежуточных контрольных мероприятий. Педагог не предоставлен самому себе и не имеет права на волюнтаристский подход к преподаванию своего предмета. В этой ситуации преподаватель и студент более не являются антагонистами, но, напротив, заинтересованы друг в друге.

Приведем ряд как положительных, так и отрицательных аспектов, выделенных нами в процессе использования внутривузовской системы оценки качества знаний посредством тестовых измерительных материалов.

Положительные аспекты:

1) Существенная экономия времени, так как за 1 астрономический час, в течение которого обычно продолжается испытание, один тестолог может оценить знания группы из 20-25 студентов. Одновременно экзамен могут сдавать столько групп, сколько компьютерных классов и компьютеров в них имеют доступ к тестовой базе. В режиме «обычного» экзамена на проверку знаний учащихся обычно уходит от 6 до 10 астрономических часов на группу.

2) Экономия на использовании учебных площадей, поскольку в одном специально оборудованном классе за один рабочий день экзаменационное тестирование могут пройти до 8 групп учащихся, для чего в обычном режиме потребовалось бы 8 учебных аудиторий.

3) Экономия на оплате труда высококвалифицированных (и, следовательно, высокооплачиваемых) преподавателей – доцентов или профессоров, поскольку оценка знаний экзаменующегося выставляется программой автоматически.

4) Экзамены и зачеты могут приниматься дистанционно, например, у учащихся филиалов или в территориально удаленных учебных корпусах, что не требует дополнительных финансовых и временных расходов по проезду преподавателей.

5) Тестовая система позволяет провести срезы «остаточных» знаний студентов в любое время без привлечения преподавателей, а также оценить эффективность обучения с точки зрения его фундаментальности.

6) Исчезает возможность для проявления любых форм коррупции, давления или угроз во взаимоотношениях между преподавателем и студентом.

7) Повышается ответственность самого учащегося и его усилий над овладением новыми знаниями.

8) Существенно снижается фактор преподавательского волюнтаризма и личных научных пристрастий преподавателя.

9) Тестовая система позволяет администрации вуза оперативно контролировать прохождение учебного процесса и повышает ответственность преподавателей за результаты своей деятельности.

10) Становится бесполезным использование студентами шпаргалок или устройств дистанционной радиосвязи во время сдачи экзамена, поскольку их эффективность снижается в разы.

11) Тестовая система позволяет оценить полноту имеющихся у студента знаний (а не их «отрывочность» при схеме устного ответа по билетам «повезло – не повезло»).

12) У учащихся появляется дополнительный стимул усваивать учебный материал точно, знания детализируются.

13) Стимулируется самообразование студентов, повышается роль их самостоятельности в обучении.

14) Актуализируется процесс обучения и восприятия знаний.

15) Тренируются основные познавательные психические процессы учащихся – внимание, память, мышление.

16) Появляется стимул к усвоению базовой учебной литературы.

17) Снижается эмоциональная напряженность, экзаменуемый испытывает меньший стресс, чем при устном ответе.

Отрицательные аспекты:

1) Студент не имеет возможности на экзамене излагать свои мысли развернуто, законченными фразами.

2) Тестовая система проверки знаний не стимулирует учащегося мыслить комплексно, связывать различные аспекты усвоенных знаний.

3) Она мало помогает систематизации знаний и не развивает способность отделять главное от второстепенного.

4) При пассивной проверке знаний у учащихся отсутствует возможность творческого подхода к изложению усвоенного материала.

5) Нет обратной связи с преподавателем.

6) Имеется техническая возможность переписывания правильных ответов и распространения их в студенческой среде. Есть теоретическая угроза «взлома» базы тестов.

7) Потенциально возможно несанкционированное распространение тестовой базы недобросовестными сотрудниками соответствующего отдела вуза.

8) Существует потенциальная возможность дачи взятки тестологу для изменения результатов испытания или для «подмены» личности тестируемого во время проведения экзамена.

9) Тесты не исключают неправильную информацию, то есть возможны фактологические ошибки.

10) Есть возможность допуска испытуемым случайных ошибок или ошибок по невнимательности, которые снизят его показатели качества знаний, даже если он впоследствии вспомнил о них.

11) Наличие у экзаменующегося опыта в прохождении тестов дает ему больше шансов на успех, чем тому, у кого подобного опыта нет, – и это при одинаковом в реальности уровне знаний.

12) Успешное прохождение тестов не свидетельствует об уровне практических навыков и умений студента (но об этом могут свидетельствовать специальные тренажеры-симуляторы).

13) Результаты выполнения тестов зависят от многих побочных факторов (самочувствие, мотивация на результат и прочее).

14) Ограничение во времени, присущее большинству тестов, вызывает нервозность и не позволяет некоторым студентам сконцентрироваться на правильном ответе, даже если они его знают.

Сейчас ВСЭИ продолжает развивать и совершенствовать систему внутренней оценки качества знаний на основе компьютерного испытания. На тестирование в первую очередь выносятся дисциплины федерального компонента 1, 2, 3 циклов учебных планов (ГСЭ, ЕН, ОПД) высшего профессионального образования. Тестовая база разработана более чем по 120 дисциплинам федерального компонента ГОС и продолжает наращиваться.

Важное место в оценке качества знаний играет правильная настройка пороговых значений – тех «критических» баллов, при наборе которых выставляется та или иная оценка.

Проблема пороговых значений связана прежде всего с существующей до настоящего времени в России пятибалльной шкалой оценки качества знаний учащихся. Большая часть педагогов прекрасно понимают, что эта шкала не может учесть всех вариаций, которые встречаются при проведении экзаменов в реальной жизни. Нередки случаи, когда один и тот же балл (предположим, «удовлетворительно» или «три») получают студент, который чуть-чуть не дотянул до «четверки», и его сокурсник, едва знающий предмет выше «двойки».

Стобалльная шкала, применяемая в компьютерном тестировании, максимально учитывает подлинный уровень знаний и позволяет составлять объективный рейтинг успешности учащихся по той или иной дисциплине. Однако пока вуз вынужден переводить результаты тестов в прежнюю пятибалльную шкалу.

Другая проблема, с которой сталкиваются те, кто внедряет тестовые системы – это сопоставимость пороговых значений тестов, разработанных по различным дисциплинам. В практике использования тестов часто приходится сталкиваться с тем, что для разных тестов приводятся различные пороговые значения (не говоря уж о проблеме «настройки» самих этих порогов). В итоге невозможно сопоставить результаты различных тестов и, допустим, составить рейтинг качества знаний учащихся, включающий в себя все изученные ими предметы.

Однако все указанные проблемы носят не системный характер и вполне устранимы в ходе дальнейшего совершенствования внутривузовских систем оценки качества знаний с использованием компьютерных тестов. Главное в том, что эта система позволяет отделить процесс обучения от процесса контроля качества знаний и дает администрации учебных заведений реальные управленческие инструменты контроля и управления обоими этими процессами.

Владмир СИЗОВ, ректор Вятского социально-экономического института