Без обучения: Claude вручную создал веса нейросети для проверки юридических цитат
Языковая модель Claude, по словам CTO юридической AI-компании Legora Якоба Лауритцена, смогла создать рабочую нейросеть без единого шага традиционного обучения. Вместо подбора параметров на данных модель рассуждала о задаче и вручную задавала значения весов.
Эксперимент касался проверки юридических цитат. Такая задача особенно важна для legal tech: ссылка на несуществующее судебное дело или ошибочное решение может привести к серьёзным последствиям для юриста и его клиента.
Как проходил эксперимент
Лауритцен попросил Claude написать с нуля веса сети примерно на 100 тысяч параметров. Точное число составило 107 745. При этом модели не предоставляли размеченные примеры и не запускали градиентный спуск — стандартный механизм, с помощью которого нейросети обычно находят подходящие коэффициенты.
Вместо этого Claude анализировал структуру самих юридических ссылок: номера дел, годы, названия судов и другие характерные признаки. Затем модель напрямую прописывала коэффициенты, формируя сеть, которая должна была отличать настоящие цитаты от выдуманных.
Разреженная модель
Получившуюся систему назвали LePhantomCite. Несмотря на общее количество параметров, ненулевыми оказались только 3 793 из них. Это означает, что большая часть весов не участвовала в вычислениях, а сама сеть получилась разреженной.
По оценке Лауритцена, LePhantomCite показала результат лучше сети, которую обучали обычным способом на тысячах примеров. Подробные значения метрик и описание процедуры проверки в представленном рассказе не приводятся, поэтому результат пока следует воспринимать как описание отдельного эксперимента, а не как доказательство универсального метода создания нейросетей.
История вызвала заметный интерес в сообществе: обсуждение эксперимента на Reddit собрало 1 093 положительных оценки. Если подход удастся воспроизвести и подтвердить независимыми тестами, он может стать интересным примером того, как языковые модели используют рассуждения для проектирования специализированных алгоритмов, а не только для генерации кода.
