Нейросети не справились с экзаменом по истории

Доцент кафедры истории России Уральского федерального университета (УрФУ) Михаил Киселев провел тестирование на знание истории для нейросетей Chat GPT и Sage. По результатам полученных ответов специалист оценил работу искусственных интеллектов на «тройку».

Как сообщили в пресс-службе вуза, нейросети не смогут сдать вузовский экзамен на максимальный балл. Дело в том, что на данном этапе искусственному интеллекту не хватает знаний для восприятия особенностей языков разных эпох. Чтобы закрыть существующие пробелы, Chat GPT и Sage просто предоставляют недостоверную информацию, которая идет вразрез с реальными фактами.

По мнению историка, нейросети демонстрируют некоторые навыки в использовании общей научной терминологии, но они не справляются со сложными гуманитарными материалами. В частности, когда искусственный интеллект сталкивается с церковнославянским языком XVI века или же советско-марксистской терминологией XX века, можно наблюдать ограничения в понимании и неспособность уловить нюансы. Это приводит к неточностям и ошибкам в ответах, особенно когда требуется самостоятельное рассуждение и анализ.

Организатор эксперимента Михаил Киселев сравнил Chat GPT и Sage со «студентом-импровизатором». По его словам, это та категория учащихся, которая при слабой подготовке к сдаче предмета начинает выдумывать на экзамене несуществующие факты и строить из них целостный ответ. Нейросети поступают аналогичным образом: они генерируют самостоятельные рассуждения, в которых присутствуют неверные данные, работы и авторы. Например, при ответе на вопрос об историках, писавших про завещание Василия III, искусственные интеллекты указали на наличие множества имен. Однако в качестве ключевых упомянули тех, кто писал обобщающие работы по истории России, а не нужных авторов.

Специалист УРФУ подчеркнул, что знания Chat GPT и Sage ограничены современным русским языком. В связи с этим, они не способны адекватно интерпретировать исторические материалы. Если использовать эти сервисы при сдаче экзамена, то скорее всего положительной отметки студенту ждать не стоит.