31.07.2026 15:27
«Это нанесет больший ущерб, чем проникновение», — эксперт о выходе ИИ за пределы «песочницы» Модели Claude от Anthropic
«Это нанесет больший ущерб, чем проникновение», — эксперт о выходе ИИ за пределы «песочницы»
Модели Claude от Anthropic в ходе испытаний взломали три реальные системы, приняв их за часть симуляции.
Перед ИИ поставили задачу получить информацию с другого компьютера, но из-за недоразумения между Anthropic и ее партнерами моделям сохранили доступ в интернет. Ни разработчики, ни пострадавшие организации атак не заметили. Первый инцидент произошел еще в апреле.
🎤 Технический директор «Калибрити Групп» Александр Кукульчук объясняет, что модели уже используются для проверки безопасности, анализа кода и проведения пентестов. Риск возникает, когда действия ИИ не ограничены изолированной средой.
Полностью передавать таким системам управление защитой пока опасно. Модель может решить, что для предотвращения взлома необходимо отключить или удалить часть инфраструктуры, и тем самым нанести бизнесу больший ущерб, чем сама атака.
Сейчас ИИ целесообразно использовать прежде всего как рекомендательный инструмент. Следующим этапом станет обучение моделей не проникновению, а защите — чтобы они могли отражать атаки в реальном времени.
Модели Claude от Anthropic в ходе испытаний взломали три реальные системы, приняв их за часть симуляции.
Перед ИИ поставили задачу получить информацию с другого компьютера, но из-за недоразумения между Anthropic и ее партнерами моделям сохранили доступ в интернет. Ни разработчики, ни пострадавшие организации атак не заметили. Первый инцидент произошел еще в апреле.
🎤 Технический директор «Калибрити Групп» Александр Кукульчук объясняет, что модели уже используются для проверки безопасности, анализа кода и проведения пентестов. Риск возникает, когда действия ИИ не ограничены изолированной средой.
Полностью передавать таким системам управление защитой пока опасно. Модель может решить, что для предотвращения взлома необходимо отключить или удалить часть инфраструктуры, и тем самым нанести бизнесу больший ущерб, чем сама атака.
Сейчас ИИ целесообразно использовать прежде всего как рекомендательный инструмент. Следующим этапом станет обучение моделей не проникновению, а защите — чтобы они могли отражать атаки в реальном времени.