Нейросеть для археологов

Археологи Лешек Павлович и Кристиан Даунум из университета Северной Аризоны впервые применили метод искусственного интеллекта для классификации древней керамики. В качестве образцов для обучения были использованы цифровые изображения тусаянской белой посуды, изготовленной представителями индейского населения юго-запада Америки. Результаты исследования были опубликованы в престижном научном издании Journal of Archaeological Science.

Анализ исторических артефактов – дело непростое и трудоемкое. Как правило, экспертам приходится долго изучать археологические находки, прежде чем согласно классификации по различным внешним признакам выносится вердикт, к какой именно эпохе они принадлежат.

В частности, за два столетия исследований археологических памятников пуэбло на американском юго-западе были обнаружены десятки тысяч керамических фрагментов. Особенностью местной глиняной посуды является роспись в виде геометрических рисунков, нанесенных по белому или серому фону контрастным черным или коричневым пигментом. Однако форма сосудов и детали орнамента различаются в зависимости от периода и местности, в которой была изготовлена посуда. Общепринятая классификация делит белую керамику на девять основных типов.

Но, как уже говорилось выше, работа с керамикой вручную требует массы усилий и не исключает ошибок и влияния человеческого фактора. Так, различные исследователи могут отнести один и тот же артефакт к разным периодам истории. Поэтому возникла идея для более точной интерпретации и датировки памятников на сей раз использовать цифровые технологии.

Применение возможностей искусственного интеллекта для распознавания визуальных образов сегодня является одной из самых популярных задач для машинного обучения. Именно благодаря этим технологиям мы можем определить, скажем, что за человек на снимке, или идентифицировать два разных объекта.

Та же корпорация Google применяет в своем программном обеспечении алгоритмы так называемого глубокого обучения (deep learning), которые имитируют деятельность нейронов в коре головного мозга. Это позволяет программам распознавать те или иные закономерности в звуках, изображениях и других виртуальных данных.

Что нам это дает? Результаты поиска будут оптимизированы, программа отбросит те, что не соответствуют заявленной теме, дублируются или не играют значимой роли. Также Google разработала программное приложение, которое позволяет давать описания эпизодов, запечатленных на снимках. Предположим, если вы ведете съемку в зоопарке, то приложение сможет отличить одних животных от других. Так, оно без труда отличит львов или тигров от медведей, да еще и расскажет, что они делали в тот момент, когда вы решили их сфотографировать.

Не так давно сотрудники Apple изобрели метод улучшения синтетических изображений. А американские биологи научили ИИ восстанавливать по видеокадрам трехмерные позы животных…

Что же касается археологов, работающих с индейской керамикой, то в данном случае была применена технология сверточных нейронных сетей, позволяющих эффективно распознавать цифровые изображения тысяч глиняных черепков, а затем классифицировать их по ряду визуальных признаков.

На начальном этапе четыре специалиста по древней посуде тусаян создали собственные классификации керамики, послужившие основой коллекции для обучения нейросети. При этом для чистоты эксперимента все эксперты выступили как анонимы под литерами A, B, C и D. Затем ученые отобрали 3064 фотоизображения керамических фрагментов, которые были переданы для «оценки» искусственному интеллекту. Последний был представлен сразу двумя модифицированными версиями так называемых сверточных нейросетей – CNN VGG16 и ResNet50.

Для ускорения процесса авторы разработки использовали трансферный метод обучения. Так, масштаб изображений изменяли и поворачивали на случайный угол в диапазоне от 0 до 360 градусов. Это должно было улучшить способность модели классифицировать тип артефакта независимо от ориентации и размера исходной картинки. Помимо этого цветовую гамму снимков преобразовывали в оттенки серого, чтобы устранить погрешности, которые могли возникнуть из-за загрязнения черепков или из-за погодных условий, а также из-за нарушения цветового баланса при фотографировании.

Для сравнения результатов археологи использовали метрику точности Top-1, с помощью которой сравнивались классификации, выполненные как нейросетью, так и экспертами-людьми. Причем сравнивались и данные, обработанные компьютером, и полученные различными специалистами.

В итоге оказалось, что совпадение между данными, полученными нейросетью, и эталонным набором выше, чем совпадение между данными, полученными в результате анализа двумя специалистами.

Более того, нейросеть научили не только классифицировать керамику, но еще и объяснять, на основании чего тот или иной фрагмент был отнесен к конкретному типу. Это стало возможным благодаря такому инструменту, как карты локализации важных признаков исследуемых объектов. По научной терминологии их называют градиентно-взвешенным отображением активации классов (Grad-CAM). Данная программа получает от нейросети сведения о степени релевантности той или иной области изображения для классификации объекта, а затем окрашивает ее по принципу тепловой карты: более значимые участки – в красный цвет, менее значимые – в синий. Это помогает находить взаимосвязи между группами черепков, имеющими схожий и различный дизайн.

Ученые полагают, что новая методика будет способствовать более точной идентификации больших массивов керамических фрагментов, а также сопоставления артефактов, обнаруженных на территории различных поселений и относящихся к разным хронологическим эпохам. К тому же способность нейросети выискивать аналоги среди тысяч разрозненных черепков значительно облегчит процессы реставрации древних сосудов, которые крайне важны для исторической реконструкции.

Ирина ШЛИОНСКАЯ