Memorilla сжимает историю чатов до 16 токенов памяти
Исследователи лаборатории SNAP при Стэнфордском университете представили Memorilla — систему, предназначенную для работы с долгосрочной памятью языковых моделей. Она сжимает историю диалогов пользователя в небольшое число латентных векторов, после чего передаёт их замороженной LLM.
В описанном авторами сценарии система обрабатывает 107 предыдущих чатов общим объёмом около 32 тысяч токенов. Вместо полной истории в модель поступают всего 16 токенов памяти. По оценке исследователей, в лучшем случае это в 4212 раз меньше исходного объёма контекста, при этом ответы системы оказались точнее, чем при прямой передаче всей истории.
Как работает подход
Memorilla не пытается каждый раз загружать в контекст все прошлые сообщения. Архив диалогов преобразуется в компактное представление — набор латентных векторов, содержащих семантически значимую информацию. Эти векторы затем используются языковой моделью как краткая память о предыдущем взаимодействии.
Ключевая особенность подхода заключается в том, что сама LLM остаётся замороженной. Иными словами, для использования памяти не требуется менять параметры основной модели: дополнительный механизм подготавливает сжатое представление истории и подаёт его на вход языковой системе.
Публикация и интерес сообщества
Статья Memorilla: Latent Semantic Memory for LLMs появилась на arXiv в середине октября. Широкое внимание к работе началось после 3 ноября, когда Вигнеш Котхапалли представил её на Stanford Data-Centric AI Workshop. 5 ноября первый автор исследования Адибвафа Фаллахпур опубликовал тред о проекте в X.
Один из наиболее заметных тезисов сформулировал Джуре Лесковец: Memorilla позволяет превратить всё, что замороженной языковой модели нужно помнить, в 16 токенов памяти. Именно эта формулировка получила распространение в обсуждениях проекта.
Работа также вызвала заметный интерес на Reddit. Обсуждение в сообществе r/singularity набрало 1571 балл и 124 комментария, став самым популярным обсуждением искусственного интеллекта на площадке в тот день.
