У Claude нашли точку J — исследователи Anthropic обнаружили внутри ИИ скрытое пространство J-space, в котором хранятся
внутри ИИ скрытое пространство J-space, в котором хранятся его мысли. При этом разработчики его не создавали — оно появилось само.
Механизм его работы похож на кратковременную память у людей: небольшой внутренний набор нейронных активаций, который используется как рабочая память для сложного мышления.
— Если спросить Claude, о чем он думает, то содержимое J-space совпадает с ответом модели;
— При этом содержимое памяти можно менять: например, если попросить модель думать о слонах, то факты о слонах заполнят кратковременную память;
— Также J-space используется для решения сложных задач: именно тут Claude выполняет промежуточные шаги, даже если они не появляются в итоговом ответе;
— Если эту память отключить, модель моментально тупеет и теряет возможность решать сложные задачи;
— В одном из тестов Claude догадался, что его проверяют, и поэтому вёл себя осторожно. Это же отразилось на кратковременной памяти;
— Самое главное: J-space можно читать и менять, чтобы контролировать работу ИИ.
@exploitex