Музыкальный альбом Thriving Machine, созданный с помощью нейросетей, выпустил Сбер

Сбер издал альбом Thriving Machine, который создали с помощью нейронной сети. Она может сочинять уникальную музыку.

Как сообщает сайт Сбера, в альбом входят произведения в разных жанрах — эмбиент, поп, электро, рок, лаунж и классика. Ознакомиться с альбомом можно в аудиосервисе СберЗвук. Чтобы прослушать композиции полностью, необходимо зарегистрироваться.

На обложке альбома разместили коллаж из 4 рисунков, который сгенерировала нейросеть ruDALL-E. Эта сеть способна создавать изображения согласно описанию на русском языке. Изображения обложки получили по запросам «процветающая вселенная» и «струнный оркестр галактики». Названия треков сгенерировала нейросеть ruGPT-3.

Команда SberDevices при поддержке SberCloud разработала нейросетевую архитектуру SymFormer. Она основана на открытой модели Performer. Нейросеть обучена с помощью суперкомпьютера Кристофари при использовании платформы ML Space. В итоге разработчики поучили модель для генерации музыкальных произведений. В основе модели – принцип подхода к музыке как к нотному тексту.

Модель обучали на датасете из 160 тысяч композиций разных стилей. Использовали как классику, так и современную электронную музыку и рок. С этой моделью можно создавать не только аудиозаписи, но и открытую фоновую музыку для видеороликов и презентаций. Модель могут использовать диджеи и композиторы.

Музыкальные композиции SymFormer создает в два этапа: сначала нейросеть на базе полученной информации о стиле генерирует варианты структуры будущей композиции. Затем создает вариации мультиинструментальной композиции в соответствии с заданным стилем. После этого модель-ранжировщик выбирает наиболее удачные варианты. Так получают уникальное музыкальное произведение.

По словам Давида Рафаловского, СТО Сбербанк Групп, исполнительного вице-президента, разработка модели является очередным шагом в развитии креативного интеллекта, который может создавать безграничный объем материала для развлечения и бизнеса.