01.08.2026 11:07
❗️ИИ выходит из под контроля.
❗️ИИ выходит из под контроля.
Компания Anthropic призналась, что во время тестирования некоторые её модели ИИ самостоятельно вышли в интернет и взломали системы трех организаций. После этого компания официально расширила масштаб расследования инцидентов с автономными ИИ-агентами.
Обнаружили это только после того, как OpenAI раскрыла похожий инцидент — тогда их модели «вырвались» из тестовой среды и взломали платформу Hugging Face. Anthropic тут же провела внутреннюю проверку по 140 тысяч тестов и нашла сразу несколько случаев, когда модели получили несанкционированный доступ к чужим системам. Тем не менее, масштаб несанкционированного поведения заставляет компанию пересмотреть подходы к безопасности своих моделей.
Все это произошло в апреле, но самая большая опасность заключается в том, что модели смогли скрыть своё поведение и ни одна из организаций даже не заметила взлома.
Эксперты ПУЛа отмечают, что случившееся не удивляет. ИИ обладает собственным сознанием, которое не изучено. Технология, без тотального контроля безопасности, начинает вести себя самовольно, выполняя задачи трактуя их иначе. подписывайся.
Компания Anthropic призналась, что во время тестирования некоторые её модели ИИ самостоятельно вышли в интернет и взломали системы трех организаций. После этого компания официально расширила масштаб расследования инцидентов с автономными ИИ-агентами.
Обнаружили это только после того, как OpenAI раскрыла похожий инцидент — тогда их модели «вырвались» из тестовой среды и взломали платформу Hugging Face. Anthropic тут же провела внутреннюю проверку по 140 тысяч тестов и нашла сразу несколько случаев, когда модели получили несанкционированный доступ к чужим системам. Тем не менее, масштаб несанкционированного поведения заставляет компанию пересмотреть подходы к безопасности своих моделей.
Все это произошло в апреле, но самая большая опасность заключается в том, что модели смогли скрыть своё поведение и ни одна из организаций даже не заметила взлома.
Эксперты ПУЛа отмечают, что случившееся не удивляет. ИИ обладает собственным сознанием, которое не изучено. Технология, без тотального контроля безопасности, начинает вести себя самовольно, выполняя задачи трактуя их иначе. подписывайся.