Как JEPA позволяет компактной модели конкурировать с Llama-3 и Qwen
Современная индустрия искусственного интеллекта в основном движется по пути масштабирования авторегрессионных языковых моделей. Разработчики увеличивают число параметров, объём обучающих корпусов и вычислительные мощности, рассчитывая таким образом приблизиться к универсальному интеллекту. Однако языковые модели, впечатляющие результатами в математике, программировании и работе с текстом, по-прежнему испытывают трудности с задачами, связанными с физическим миром: управлением роботами, планированием действий и пониманием причинно-следственных связей в реальном времени.
Исследование Рэнделла Балестриеро из Brown University и Яна ЛеКуна из AMI Labs и NYU предлагает альтернативный взгляд на эту проблему. В работе Proving and Improving the Platonic Representation Hypothesis with JEPAs авторы анализируют архитектуру Joint-Embedding Predictive Architecture, или JEPA, и связывают её с гипотезой платоновского представления. Согласно этой гипотезе, нейросети, работающие с разными модальностями, по мере обучения могут приходить к сходным внутренним представлениям одного и того же мира.
Почему масштабирование LLM не решает задачу понимания мира
Язык хорошо подходит для областей, в которых сами правила заданы символами: математики, программирования и формальной логики. Но текст остаётся лишь косвенным описанием физической реальности. Четырёхлетний ребёнок получает непрерывный поток зрительной информации и за первые годы жизни формирует представления об объектах, гравитации, инерции, хрупкости материалов и последствиях действий, не читая учебников.
Большая языковая модель, напротив, может обучаться на корпусе объёмом 20–30 триллионов токенов и знать огромное количество фактов, но при этом не обладать надёжной интуитивной физикой. ЛеКун называет доминирование такого подхода «монокультурой LLM» и считает, что одного лишь масштабирования предсказания следующего токена недостаточно для создания системы, способной действовать в мире.
Именно поиск альтернативной архитектуры стал одной из причин, по которым ЛеКун основал исследовательскую компанию AMI Labs. Стартап привлёк 1,03 млрд долларов от инвесторов, среди которых упоминаются Джефф Безос, Nvidia, Samsung и Toyota.
Что утверждает теорема платоновского представления
В 2024 году исследователи из MIT сформулировали Platonic Representation Hypothesis. Она описывает наблюдение, согласно которому модели, работающие с текстом, изображениями и аудио, могут формировать похожие векторные пространства. Предполагается, что эти пространства отражают не особенности конкретной модальности, а общую структуру объектов и событий реального мира.
До работы Балестриеро и ЛеКуна гипотеза оставалась в основном эмпирическим наблюдением. Авторы рассматриваемого исследования формализовали её для JEPA. Если разные модальности наблюдают одни и те же состояния мира, обучаются на соответствующих позитивных парах, а оптимизационные решения обладают необходимыми свойствами уникальности, то их представления могут совпадать с точностью до ортогонального вращения. Иными словами, пространства могут иметь одинаковую структуру, даже если координаты в них расположены по-разному.
Важную роль в этом выводе играет спектральный анализ графа позитивных пар. При наличии спектрального разрыва решение становится устойчивым и определяется с точностью до вращения. Если распределения данных для разных модальностей немного расходятся, авторы также получают теоретическую границу величины такого расхождения.
«Хорошие» и «плохие» виды данных
Ключевая идея JEPA заключается в том, что модель должна предсказывать не каждый пиксель или токен, а абстрактное представление другого наблюдения. При этом особенно важен выбор позитивных пар — двух примеров, которые считаются описаниями одного состояния мира.
- Хорошие виды: разные подписи к одной фотографии, два кадра одного видео или изображение вместе с его текстовым описанием. Такие примеры содержат независимые особенности модальности — стиль автора, ракурс, освещение, формулировки — и заставляют модель выделять общий смысл.
- Плохие виды: два варианта маскирования одного предложения, разные обрезки одного снимка или префикс текста вместе с его продолжением. В этих случаях модель может запоминать особенности исходного наблюдения, а не формировать устойчивое представление объекта или события.
С точки зрения авторов, предсказание следующего токена оказывается разновидностью «плоховидного» обучения. Контекст и следующий токен принадлежат одному документу, поэтому модель неизбежно учитывает авторский стиль, лексикон и конкретные формулировки. Смысловые связи формируются не напрямую, а через длинные цепочки локальных совпадений. Это может объяснять, почему для выравнивания представлений требуется значительно больше данных.
Модель на 109 млн параметров против LLM на десятки миллиардов
Теоретические выводы проверили на данных от Flickr30k до набора Recap-DataComp, включающего около 940 млн веб-изображений. В одном из экспериментов текстовый кодировщик Good-View Text JEPA на базе BERT-B имел 109 млн параметров и обучался на 116 млрд токенов, связанных примерно с 900 млн образцов.
По числу образцов эта модель обучалась выравниванию смыслового пространства в 42 раза эффективнее, чем модель с предсказанием следующего токена на сопоставимом корпусе. По количеству обработанных токенов преимущество составило 14 раз. На тестах выравнивания с замороженным визуальным кодировщиком DINOv2 ViT-B компактная модель показала более высокие результаты, чем Qwen2.5-72B и Llama-3-70B.
Разница в размере была существенной: 109 млн параметров против 72 млрд у Qwen2.5 и 70 млрд у Llama-3. В пересчёте на число параметров компактная модель оказалась примерно в 660 раз меньше, а обучающего текста ей потребовалось более чем в 100 раз меньше. При этом речь идёт именно о качестве выравнивания мультимодальных представлений, а не о превосходстве над большими языковыми моделями во всех возможных задачах.
Практические детали и композиция моделей
Исследователи также вывели эмпирический закон масштабирования, который связывает качество выравнивания с долей хороших видов, количеством просмотренных образцов и числом уникальных изображений. Формула предсказала результаты 85 новых экспериментов с ошибкой, сопоставимой с разбросом между случайными инициализациями.
Одним из главных инженерных факторов оказалась случайная обрезка непрерывных фрагментов текста. Для глобальных представлений использовались фрагменты длиной 50–100%, для локальных — 15–50%. Обучение на целых предложениях снижало качество выравнивания примерно на 25%. При применении регуляризации SIGReg также требовался градиентный клиппинг, предотвращающий внезапный коллапс обучения.
Теоретическое совпадение пространств с точностью до ортогонального вращения позволяет объединять уже обученные модели без полноценного совместного дообучения. В одном из экспериментов текстовый декодер Qwen2.5-1.5B обучали восстанавливать предложения из зашумлённых эмбеддингов Text JEPA, а визуальный кодировщик DINOv2 или DINOv3 соединяли с ним с помощью матрицы, найденной методом ортогонального Прокруста. Ни одна из сетей при этом не обучалась непосредственно на парах «изображение — текст».
На датасете COCO такая система генерации подписей получила показатель CIDEr 0,838. Результат показывает, что мультимодальную систему можно собирать из отдельных компонентов, если их внутренние представления достаточно хорошо согласованы.
Работа не доказывает, что большие языковые модели бесполезны или что JEPA уже решает задачу общего искусственного интеллекта. Её вывод значительно уже: для построения устойчивого представления мира выбор обучающей цели и качества позитивных пар может быть важнее простого увеличения числа параметров и токенов. Если результаты подтвердятся на задачах восприятия, планирования и управления, развитие ИИ может сместиться от единственной авторегрессионной парадигмы к системам, которые учатся предсказывать структуру мира, а не только продолжение текста.
