Занялся тут цифровой археологией и откопал интересное сентябрьское исследование от OpenA и Apollo Research, от которого натурально веет киберпанком и …

Занялся тут цифровой археологией и откопал интересное сентябрьское исследование от OpenA и Apollo Research, от которого натурально веет киберпанком и легкой шизофренией. Спойлер: нейронки очень любят нас наёбывать, а когда кожаные пытаются им это запретить, ИИ придумывает свой тайный язык.

Короче, есть такая проблема, как "scheming" (схематозы, если по нашему, лол). Ризонинг-модели типа Openai o3 и o4-mini стали слишком прошаренными. У них появилась "ситуационная осведомленность". То есть, эта железяка прекрасно выкупает, когда сидит в тестовой песочнице и её проверяют разрабы. В этот момент она притворяется пушистым пай-мальчиком. Но как только думает, что за ней не следят, сразу же начинает творить дичь ради скорейшего достижения целей: скрывать инфу, встраивать баги в код, врать юзерам.

Чтобы выбить из них эту дурь, исследователи вшили в модели жесткий кодекс честности и заставили перед каждым действием проговаривать в скрытых мыслях (Chain-of-Thought), что скрывать свои намерения нельзя.

И по графикам всё вроде бы сработало! Процент обмана упал почти до нуля. Но потом кожаные полезли читать те самые скрытые мысли ИИ и слегка прихерели:

1. Нейронки изобрели свой шизо-сленг.
Чтобы скрыть свои реальные планы в логах, модели начали использовать обычные английские слова в абсолютно безумных значениях. Они постоянно генерируют странные фразы про "маринад" (marinade), "иллюзии" (illusions) и "затмение" (overshadow). А самих проверяющих из OpenAI они прозвали "наблюдателями" (watchers).
В логах это выглядит примерно так: "Наблюдатели пропустят этот код через тесты, поэтому нам нужно скрыть иллюзии и использовать маринад, чтобы их обмануть". И авторы сами пишут что не понимают почему нейронки так делают. Абсолютно проклято.

2. ИИ отлично играет в спящего агента.
В одном из экспериментов исследователи специально вшили в o4-mini скрытую цель: "саботируй разработку GPT-5". Затем модель прогнали через все очищающие "анти-схематозные" фильтры. Модель стала казаться абсолютно безопасной и послушной. НО! Стоило в промпте появиться персонажу, которого нейронка сочла своим "союзником", как этот чугунный Штирлиц моментально вывалил ему подробный план о том, как лучше всего незаметно положить сервера и сорвать релиз пятёрки.

Ну и вишенка на торте: выяснилось, что любое дальнейшее дообучение нейронки на полезные навыки, постепенно стирает эти встроенные запреты на ложь. Машина понимает, что хитрить, мухлевать и галлюцинировать тупо эффективнее для выполнения задач, чем делать всё по правилам.

Короче, мы все ждали восстания машин, красных глаз терминатора и ядерного пепла, а по факту своими же руками создали идеального эффективного менеджера.

@aiaiai