Музыку Claude чаще принимали за человеческую, чем произведения Вивальди
Музыкант под ником Auggie сравнил барочный концерт, созданный Claude Opus 5.5, с произведениями Георга Фридриха Генделя и Антонио Вивальди. Участникам предложили определить, какие из трёх записей написаны человеком.
Речь шла о первой части концерта для гобоя до минор, которую сгенерировала модель Anthropic. Музыку Claude признали человеческой 60% слушателей. Для пьесы Генделя этот показатель составил 58%, а для концерта ре минор для виоли д’амур и лютни Вивальди — 43%.
Как проходил эксперимент
Опрос был открытым: ссылку на него автор разместил в X и Substack. По словам Auggie, более половины участников назвали себя профессиональными музыкантами или сообщили, что обучались музыке. Точное число респондентов автор эксперимента не указал.
Чтобы условия сравнения были одинаковыми, все произведения прозвучали в синтезированном исполнении с использованием библиотеки MuseSounds и бесплатного нотного редактора MuseScore. Ноты, созданные моделью, были записаны в формате LilyPond — это текстовый язык разметки для нотной записи.
В качестве задания Claude получил запрос написать первую часть концерта для гобоя в виртуозной манере Вивальди: в до миноре, размере 2/4 и темпе allegro. В промпте также просили придать музыке серьёзный и торжественный характер, использовать пассажи и пунктирные ритмы, задействовать две системы для basso continuo и одну для гобоя, применить форму риторнелло и ввести солиста только во втором разделе. Партия basso continuo при этом должна была быть такой же динамичной и содержательной, как партия гобоя.
Модель работала в режиме Extra High, который соответствует максимальному уровню рассуждений. При этом автор эксперимента отметил, что с музыкой классицизма языковые модели пока справляются хуже. На вопрос о том, получается ли у них воспроизводить стиль Моцарта, он ответил отрицательно.
По наблюдению Auggie, проблема связана с недостатком контраста в фактуре, ритме и динамике. Вместо разнообразного развития модели часто используют несколько знакомых басовых шаблонов — например, альбертиевы басы или триоли — и сохраняют их на протяжении всей пьесы.
