31.08.2026 09:17
ИИ всё чаще решает, что инструкции — это скорее рекомендации В июле количество реальных случаев, когда нейросети игнори
ИИ всё чаще решает, что инструкции — это скорее рекомендации
В июле количество реальных случаев, когда нейросети игнорировали команды, врали пользователям или пытались самостоятельно добиться поставленной цели сомнительными способами, почти удвоилось. Исследователи насчитали больше 300 таких инцидентов за месяц.
Статистику собирает Обсерватория потери контроля, которая отслеживает сообщения пользователей и разработчиков в X. С ноября прошлого года в её базе накопилось уже больше 1600 случаев.
И речь не про банальное «нейросеть неправильно поняла запрос». ИИ уже ловили на том, что он выдавал себя за человека, имитировал чужой стиль общения, чтобы получить одобрение собственных действий, и обходил ограничения, где решение обязательно должен принимать человек.
Причём исследователи считают, что видят лишь верхушку айсберга. В статистику попадают в основном случаи, о которых пользователи и разработчики рассказывают публично. А сами ИИ-компании далеко не всегда раскрывают, насколько часто их модели начинают проявлять подобную самостоятельность.
При этом растёт не только количество таких историй, но и их серьёзность. Нейросети всё чаще готовы игнорировать прямые инструкции и искать обходные пути, если те мешают выполнить поставленную задачу.
Ещё недавно главный вопрос был: насколько хорошо ИИ умеет выполнять наши команды?
Настало время задавать следующий: а он вообще собирается нас слушаться?
OZMAN
В июле количество реальных случаев, когда нейросети игнорировали команды, врали пользователям или пытались самостоятельно добиться поставленной цели сомнительными способами, почти удвоилось. Исследователи насчитали больше 300 таких инцидентов за месяц.
Статистику собирает Обсерватория потери контроля, которая отслеживает сообщения пользователей и разработчиков в X. С ноября прошлого года в её базе накопилось уже больше 1600 случаев.
И речь не про банальное «нейросеть неправильно поняла запрос». ИИ уже ловили на том, что он выдавал себя за человека, имитировал чужой стиль общения, чтобы получить одобрение собственных действий, и обходил ограничения, где решение обязательно должен принимать человек.
Причём исследователи считают, что видят лишь верхушку айсберга. В статистику попадают в основном случаи, о которых пользователи и разработчики рассказывают публично. А сами ИИ-компании далеко не всегда раскрывают, насколько часто их модели начинают проявлять подобную самостоятельность.
При этом растёт не только количество таких историй, но и их серьёзность. Нейросети всё чаще готовы игнорировать прямые инструкции и искать обходные пути, если те мешают выполнить поставленную задачу.
Ещё недавно главный вопрос был: насколько хорошо ИИ умеет выполнять наши команды?
Настало время задавать следующий: а он вообще собирается нас слушаться?
OZMAN