Как было и что будет? Опыт проведения 9 тура конкурса НФПК по созданию учебной литературы нового поколения на электронных носителях

II. Проведение конкурсного отбора, требования к участникам конкурса; заключение контрактов с фирмами-победителями

Окончание. Начало в № 27

Как это было: из опыта 9 тура

Конкурсный отбор фирм-разработчиков включал в себя следующие этапы:

а публикацию объявления о конкурсе в СМИ, регистрацию участников конкурса, выдачу пакета конкурсной документации, ответы на вопросы;

а вскрытие пакетов конкурсных предложений, экспертную оценку технических предложений;

а вскрытие финансовых предложений фирм, допущенных до дальнейшего участия в конкурсе, оценку финансовых предложений;

а подведение итогов конкурса, объявление победителей, утверждение списка победителей в МБРР;

а подготовку, согласование и подписание контрактов на разработку ЭИ.

Общая продолжительность конкурсного отбора: 7 месяцев.

Конкурсная документация требовала слишком детализированной заявки, касающейся непосредственной деятельности организаций. От фирм требовался опыт разработки ЭИ не менее 3 лет и выпуск не менее 1 ЭИ. В то же время это не стало барьером для «слабых» фирм, в некоторых случаях практически полностью сменивших авторский коллектив и ответственных работников фирмы, но «отсекло» молодые организации.

В соответствии с тендерной документацией на этапе подачи заявок до участия в конкурсе были допущены как частные коммерческие фирмы, так и государственные организации. По итогам работы оценочной комиссии 5 государственных организаций были признаны победителями конкурса. Однако на этапе согласования списка победителей в МБРР возникли определенные трудности: госорганизациям пришлось предоставлять дополнительную информацию и документы, подтверждающие их финансовую и юридическую самостоятельность. В результате решение данного вопроса затянулось на полгода, соответственно позже началась и разработка ЭИ. Следует отметить, что усилия НФПК и МБРР были оправданы: в некоторых случаях государственные организации показали значительно более высокий уровень разработки, нежели коммерческие фирмы.

Заявки. В 9 туре было установлено ограничение на количество заявок – одна фирма могла подать заявку только на 3 лота. В целом это правильно, но можно представить ситуацию, когда три самые сильные фирмы будут участвовать в одних и тех же лотах. Тогда «середнячки» окажутся победителями в остальных.

Конкурсная (оценочная) комиссия состояла из 3 подкомиссий: подкомиссия по технической экспертизе (5 чел.), подкомиссия по содержательной экспертизе (60 чел.), подкомиссия по оценке опыта и квалификации фирмы (10 чел.). В содержательной экспертизе каждой заявки принимали участие 5 экспертов, в т.ч. учитель-практик или методист, ученый/специалист в данной предметной области, специалист по ИКТ, представитель Минобразования России (Департамент общего образования) и ФЭС.

Техническая экспертиза оказалась не очень эффективной, поскольку все заявители по документации практически полностью соответствовали требованиям конкурса.

Как хотелось бы: рекомендации для проекта ИСО

А) Для более широкого оповещения педагогической общественности о предстоящих конкурсах следует публиковать объявления о них в педагогической прессе, размещать их на различных сайтах (НФПК, Минобразования и науки, ГИЦ, ФИО и др.), на портале «Образование.ru» и др., а также активно использовать возможности рассылки сетевых методистов Федерации Интернет Образования.

B) Следует упростить сложный и объемный пакет конкурсной документации (86 стр.), которая вызывает у фирм массу трудностей и вопросов при заполнении форм.

C) Желательно сохранить ограничение, но скорее не по количеству поданных заявок от одной фирмы, а по числу выигранных лотов, возможно, связав его с количеством работников данной фирмы. Уже сейчас такие фирмы, как Кирилл и Мефодий, Просвещение-Медиа, РМЦ, 1С и некоторые другие, обладают большим количеством разработчиков, способных одновременно выполнять до пяти – десяти проектов. Иначе будет трудно найти нужное количество фирм для создания коллекций и разработки учебно-методических модулей и комплектов (около 60 – 80).

D) Желательно изменить требования к участникам конкурса, введя опыт разработки ЭИ (не менее одного года) и выпуска не менее одного мультимедийного электронного издания.

E) Желательно изменить требования к участникам конкурса, введя опыт разработки ЭИ (не менее одного года) и выпуска не менее одного мультимедийного электронного издания.

F) Учитывая специфику Российской Федерации, необходимо предусмотреть возможность участия в конкурсе организаций всех форм собственности.

G) Наиболее приоритетными должны стать содержательная экспертиза и оценка опыта и квалификации фирмы. Можно придать приоритетный вес опыту разработки фирмой подобных электронных изданий, выделив дополнительное время экспертам для более внимательного ознакомления с портфолио данной фирмы. Экспертов, хорошо зарекомендовавших себя во время работы в оценочной комиссии, целесообразно включить в состав Экспертного комитета.

Н) В контрактах с фирмами-победителями необходимо:

предусмотреть более жесткие формулировки об ответственности сторон, в т.ч. за нарушение сроков (штрафные санкции);

более тщательно и точно сформулировать пункт о правах собственности с учетом дальнейшей процедуры передачи ЭИ в РЦ ЭМТО;

включить развернутые определения понятий и терминов, связанных с результатами разработки и этапами их экспертной оценки (рабочий сценарий, 1-я версия, доработанная версия, комплект разработки, мастер-диск, методическое пособие для учителя, апробация, приемосдаточные испытания и т.д.);

включить, если это возможно, ссылки на нормативные документы, ГОСТы, СанПиНы и др., требования к дизайну, к интерфейсу, навигации и т.д.;

настоять на включении в состав авторского коллектива действующего школьного учителя или методиста, а также научного редактора и корректора в первую очередь из-за громадного числа ошибок в русском языке в разработанных ЭИ);

включить пункт о подготовке фирмой-разработчиком программы и методики проведения приемосдаточных испытаний (ориентировочный срок разработки от одного до трех месяцев), поскольку чем жестче проходит сдача ЭИ, тем качественнее оно будет разработано;

включить в условия контракта пункт о методической поддержке разработки на сайте фирмы.

I) На этапе подготовки и согласования контрактов необходимо организовать для фирм-победителей конкурса обучающий семинар, касающийся как современных форм обучения, так и требований к современным электронным изданиям, применяемым в учебном процессе. В рамках семинара целесообразно предусмотреть демонстрацию образцов ЭИ хорошего качества, а также примеров неудачных ЭИ, сопроводив ее необходимыми комментариями, а затем обсуждение просмотренных материалов. Кроме того, обязательным является проведение установочного семинара по процедурам НФПК, требованиям к выполнению контракта и вопросам финансовой отчетности с участием руководителя проекта и бухгалтера.

III. Формирование Экспертного комитета, работа экспертов

Для проведения экспертной оценки разрабатываемых материалов и мониторинга хода выполнения работ по контрактам был создан Экспертный комитет 9 тура Конкурса НФПК в составе 16 человек. Экспертный комитет (далее – ЭК) был сформирован по представлению Министерства образования Российской Федерации, ФЭС, РЦ ЭМТО, ФИО и других организаций и включает в себя ведущих специалистов в области разработки ЭИ, специалистов в предметных областях, по которым создаются ЭИ в рамках данного тура конкурса, учителей-практиков, имеющих опыт использования ЭИ в учебном процессе. Кроме того, по рекомендации МБРР в состав ЭК 9 тура вошел международный эксперт Б.Беренфельд. К тому же для проведения комплексной экспертизы, включающей техническую, содержательную и дизайн-эргономическую экспертизу, была сформирована группа экспертов-рецензентов (свыше 25 человек). Одним из основных требований к рецензенту или эксперту, участвующему в оценке результатов разработки ЭИ, является знание ИКТ и/или опыт их использования в учебном процессе.

Изначально все разработки были распределены между членами ЭК с учетом их квалификации и профессиональных интересов, т.е. был определен ключевой эксперт по данному лоту и 1-2 дополнительных эксперта. Каждая группа экспертов, курирующих конкретную разработку, состоит из специалиста в данной предметной области, имеющего опыт использования ЭИ в учебном процессе, а также специалистов ИКТ. Экспертная группа проводит оценку промежуточных результатов и мониторинг хода выполнения работ на всех этапах разработки ЭИ. Практика закрепления за каждой разработкой группы экспертов из числа членов ЭК оказалась весьма положительной, т.к. позволяет обеспечивать преемственность и качество экспертной оценки. Однако довольно часто ключевой эксперт был вынужден выполнять роль куратора разработки, т.е. участвовать в рабочих встречах с представителями фирм, давать дополнительные разъяснения, практические рекомендации, что не вполне, на наш взгляд, соответствует статусу члена ЭК, а с другой стороны, не должно носить характер благотворительности.

Работа членов ЭК 9 тура организована следующим образом. Материалы, представленные разработчиком, передаются членам экспертной группы для экспертной оценки и председателю ЭК для информации, а также пересылаются международному эксперту, который осуществляет экспертизу всех разработок. Если на данном этапе предусмотрена предварительная экспертиза/рецензирование или же комплексная экспертиза, выполняемая внешними экспертами, то члены экспертной группы получают также материалы (рецензии, отчеты по экспертизе) по результатам предварительного рецензирования или комплексной экспертизы. После этого результаты экспертизы, включая заключения международного эксперта, выносятся на рассмотрение ЭК для принятия решения. По итогам обсуждения материалов разработки на заседании ЭК, а также на основе заключений членов экспертной группы ключевой эксперт готовит обобщенное экспертное заключение, которое отражает коллективное мнение экспертов. После согласования текста данного документа с председателем ЭК и координатором 9 тура конкурса заключение направляется разработчику вместе с официальным уведомлением о решении ЭК. Материалы международной экспертизы, как правило, передаются разработчику как самостоятельный документ.

В целях достижения адекватности экспертизы, проводимой в рамках Конкурса НФПК, экспертная оценка проводится в соответствии с критериями и по оценочным формам, утвержденным секцией электронных изданий ФЭС.

О реальном объеме работ, выполненных ЭК 9 тура за период с сентября 2002 г. по июль 2004 г., позволяют судить следующие цифры: проведено 17 заседаний ЭК, 5 приемосдаточных испытаний, свыше 10 рабочих встреч с фирмами-разработчиками, 5 установочных встреч с учителями-апробаторами и др.

В Экспертном комитете время от времени возникали проблемы с кворумом, связанные с занятостью экспертов на основной работе, командировками, болезнями, отдаленностью некоторых экспертов, а подчас и с незаинтересованностью членов ЭК в присутствии на заседаниях (нужно учитывать, что, кроме двух-шестичасового заседания, эксперты тратят на дорогу до трех-четырех часов времени, получается почти полный рабочий день). В этих случаях приходилось переносить заседание ЭК. На некоторых экспертов, таким образом, приходилась повышенная нагрузка. При проведении приемосдаточных испытаний или даже просто демонстраций ЭИ возникали проблемы с оборудованным для этих целей помещением. Его приходилось искать «на стороне», пользоваться гостеприимством и любезностью РЦ ЭМТО, ФИО и Лицея информационных технологий №1533.

Членам ЭК пришлось проводить внеплановые встречи с рядом разработчиков. Как показала практика, замысел разработчиков, по букве соответствующий краткому ТЗ, бывает весьма далек от сути требований ТЗ. У нас есть примеры, когда в результате длительного обсуждения с членами Экспертного комитета разработчики значительно изменяли свой замысел. В некоторых случаях разработчиков не удавалось переубедить (при жестком выполнении требований ТЗ), готовый продукт оказывается пригоден только для фрагментарного использования в учебном процессе. Именно поэтому так необходим контроль над действиями разработчиков на всех стадиях создания электронного издания, начиная с качественной разработки ТЗ и сценария, так и непосредственно самого ЭИ.

A) Необходимо положение об Экспертном комитете, в котором должны быть четко определены функции ЭК и экспертов. В любом случае основная задача ЭК – оценка соответствующей стадии разработки. Крайне желательно, чтобы эксперты имели соответствующую квалификацию как в ИКТ, так и в предметной области. Привлечение экспертов из регионов возможно и целесообразно только в том случае, если этот эксперт достаточно мобилен, хорошо оснащен технически (рассмотреть вопрос о выделении notebook для экспертов), а срок, предусмотренный на экспертизу, не менее 2 недель. В то же время следует иметь в виду, что на последних этапах могут возникнуть трудности с пересылкой материалов по интернету из-за их большого объема. Пересылка же материалов по почте значительно увеличивает срок проведения экспертизы.

B) Следует активно использовать положительный опыт закрепления за каждой разработкой 2-3 членов ЭК, в т.ч. одного – ключевого и других – дополнительных.

C) В графике разработки следует учитывать время, необходимое для проведения экспертизы, организации заседания ЭК, составления обобщенного заключения и консультирования разработчиков. Практика показывает, что на экспертизу на любой стадии при нормальных условиях работы требуется время от полутора до четырех недель.

D) Экспертный комитет должен обладать полномочиями для вынесения решения при наличии четырех-пяти членов ЭК. Ввиду длительности сроков разработки ЭИ необходимо предусмотреть оперативную возможность замены или включения новых членов в состав ЭК.

E) В договоре, заключаемом с членом ЭК, должны быть четко указаны обязанности эксперта, объем работ и требования к подготовке экспертных заключений.

F) Оплата экспертных заключений должна быть ориентировочно такая же, как и в рамках 9 тура. Посещение заседаний ЭК (включая приемосдаточные испытания) и участие в дискуссии по рецензируемым ЭИ должны оплачиваться из расчета не менее $50 при условии предоставления в НФПК краткого резюме выступления эксперта по рассматриваемым продуктам. Все незапланированные встречи по просьбе фирм-разработчиков должны оплачиваться дополнительно, вопрос только за чей счет – фирм или НФПК.

G) В проекте ИСО предполагается ввести институт кураторов разработок. У нас нет однозначного мнения на этот счет. С одной стороны, это абсолютно правильное решение, с другой – этот эксперт практически становится членом команды разработчиков и начинает защищать и даже лоббировать ее интересы. Более того, он не заинтересован в прекращении работ данной фирмы, так как при этом он потеряет потенциальный гонорар. По всей видимости, можно попробовать ввести институт кураторов на экспериментальной основе с соответствующей оплатой их труда. В связи с этим предлагаем ввести кураторов в состав ЭК на правах наблюдателей, предоставляя им право присутствовать на заседаниях ЭК, давать необходимые разъяснения его членам, задавать в свою очередь им вопросы, но лишая их права принимать участие в голосовании, в вынесении решений. В этом случае вопрос только в том, где взять такое количество экспертов и кто все-таки будет оплачивать работу кураторов – НФПК или разработчики?

Н) Предусмотреть помещение, оснащенное двумя-тремя ПК требуемой конфигурации и мультимедиапроектором, для проведения заседаний ЭК и приемосдаточных испытаний.

Сергей ХРИСТОЧЕВСКИЙ, зав.лабораторией Института проблем информатики РАН, кандидат технических наук; Светлана ДУБОВИК, координатор программ отдела учебного книгоиздания ИПРО НФПК, кандидат филологических наук