Anthropic научила Claude «видеть сны» и исправлять ошибки в памяти
Компания Anthropic представила результаты экспериментов с новой системой долговременной памяти для искусственного интеллекта Claude. Разработчики показали, что нейросеть способна пересматривать предыдущие разговоры и действия, находить ошибки в сохранённой информации и самостоятельно упорядочивать накопленные знания. Этот процесс получил название «сновидения», поскольку напоминает один из механизмов работы человеческой памяти во время сна. Однако речь идёт не о настоящих снах, а о дополнительной обработке информации между рабочими сеансами.
Обычно языковые модели ограничены объёмом информации, доступной в текущем диалоге. Даже если искусственный интеллект сохраняет данные в отдельных файлах, со временем они могут устаревать, противоречить друг другу или становиться слишком многочисленными. Anthropic исследовала возможность периодически возвращаться к записям прошлых сеансов, проверять их по первоначальным данным и оставлять только сведения, которые могут пригодиться в дальнейшей работе.
Один из экспериментов проводился в видеоигре Pokémon Red, где Claude должен был самостоятельно исследовать игровой мир, выполнять задания и получать значки за победы. Исследователи сравнили работу двух моделей после примерно 10 тысяч игровых шагов. Claude Sonnet 3.7 сохранил 413 файлов в 225 папках общим объёмом почти 978 тысяч символов, но смог получить только один значок. Более новая модель Claude Fable 5 ограничилась десятью файлами общим объёмом около 43 тысяч символов и получила четыре значка.
Разница заключалась в подходе к сохранению информации. Sonnet 3.7 подробно записывал почти каждое событие, включая сражения, найденные предметы и встречи с персонажами. По мере прохождения игры большая часть этих записей устаревала, а нейросеть тратила всё больше времени на их просмотр и обновление. Fable 5 сохранял главным образом проверенные стратегии, маршруты и текущие планы, не дублируя сведения, которые можно было снова получить из самой игры. При этом сравнивались разные модели в отдельных прохождениях, поэтому результат нельзя объяснять исключительно организацией памяти.
Отдельный эксперимент продемонстрировал, как «сновидения» помогают исправлять уже совершённые ошибки. Во время прохождения Pokémon Claude неправильно запомнил расположение центра лечения покемонов возле горы Мун. Из-за этого он ошибочно считал, что уже прошёл пещеру, и неоднократно возвращался на предыдущий участок карты. После дополнительной проверки сохранённых записей по истории игрового сеанса система обнаружила неточность и исправила её. С обновлённой памятью Claude вернулся в пещеру и добрался до следующего города, тогда как версия с первоначальной ошибкой так и не смогла преодолеть препятствие.
Исследователи также проверили, может ли искусственный интеллект превращать большие архивы документов в собственную базу знаний. Для эксперимента использовали около 350 тысяч внутренних файлов компании Stainless общим объёмом примерно 420 миллионов токенов — единиц текста, которыми оперируют языковые модели. В течение 128 последовательных сеансов Claude Opus 5 создавал и дополнял связанную систему справочных страниц, напоминающую энциклопедию. При ответах на 25 проверочных вопросов качество работы только с этой базой выросло с 13 до 48% по установленным критериям оценки.
Сочетание созданной базы знаний с обычным поиском оказалось ещё эффективнее. Итоговый результат достиг 61% против 53% при использовании одного поиска, а расход текста, обрабатываемого моделью при ответе, сократился примерно на 20 тысяч токенов на вопрос. В другом эксперименте, посвящённом анализу документов о слиянии компаний, Claude выполнил 87% проверочных критериев при использовании подготовленной базы знаний против 73% при обычном поиске.
Новая система также позволяет распределять информацию по степени важности. Ключевые сведения можно автоматически загружать в память перед началом следующего сеанса, а менее востребованные оставлять в отдельных файлах для поиска по мере необходимости. При этом разработчики признают, что дополнительная обработка требует вычислительных ресурсов, а ошибки в сохранённых записях могут распространяться на будущие ответы. В некоторых испытаниях созданная нейросетью база знаний даже превышала по объёму исходные документы, не обеспечивая заметного улучшения результатов.