30.05.2026 16:44
НИКОМУ НЕ ДОВЕРЯЙ Anthropic выпустили любопытный документ: «Zero Trust for AI Agents».
НИКОМУ НЕ ДОВЕРЯЙ
Anthropic выпустили любопытный документ: «Zero Trust for AI Agents».
В основе документа, собственно, идея нулевого доверия.
Любой агент рассматривается как потенциальный источник ошибки, утечки или злоупотребления (слышите демонический смех Эйчаров и руководителей?)
Да, вы не ослышались. Отчет будто бы про ИИ, но на самом деле и про людей.
Из отчета можно вытащить несколько очень неудобных тезисов:
- Агенту (и человеку!) нельзя давать постоянные полномочия.
- Каждая задача это отдельный контур доступа, отдельные права, отдельная проверка. Постоянный доступ считается почти гарантированной проблемой. (А у вас есть в компании такое?)
- Агент может использовать легальные полномочия во вред системе. Проблема в том, что исполнитель может добросовестно выполнять задачу и одновременно наносить ущерб. (Хаха, это во многих организациях происходит постоянно)
- Память опасна.
ИИ может быть скомпрометирован через контекст, историю взаимодействий или сохраненные данные. (Как и человек, надо же, да?)
Anthropic отдельно выделяет memory poisoning (неконтролируемое управление памятью или смыслами агента) как самостоятельный класс угроз.
- Нельзя доверять даже инструментам, которыми пользуется агент.
Появился отдельный термин - tool poisoning. Инструмент может выглядеть полезным, но вести систему к ошибочным решениям.
- Контроль важнее намерений. (Это к вечному спору про то, что правильных людей не надо контролировать. Ага).
Anthropic прямо пишет: не надейтесь на добрые намерения агента, проектируйте ограничения.
Предполагайте, что нарушение уже произошло.
Один из базовых принципов нулевого доверия - исходить не из безопасности системы, а из факта потенциальной компрометации.
В общем, управлять ИИ нужно по заветам «нет правильных ИИ агентов, есть недопроверенные».
‼️Главный риск это автономность. Чем полезнее агент, тем больше решений он принимает без человека. А значит, тем больше цена ошибки.
В общем, даже если вы не пользуетесь ИИ - читайте это как руководство по действиям в современном кризисе доверия в организациях. А он есть.
1️⃣Не давайте неограниченные полномочия.
2️⃣Не стройте систему на личной лояльности.
3️⃣Проверяйте решения через прозрачные процедуры.
4️⃣Разделяйте зоны ответственности.
Не храните критически важные знания в голове одного человека.
5️⃣Проектируйте процессы так, словно ошибка обязательно случится.
Спасибо, ИИ. Сначала мы учили машины думать как люди. Теперь машины помогают нам понять, почему люди устроены именно так.
Пошла читать новости про ИИ именно через эту призму.
😊 Подписаться на Эйчаргейт| Вакансии госсектор в MAX
Anthropic выпустили любопытный документ: «Zero Trust for AI Agents».
В основе документа, собственно, идея нулевого доверия.
Любой агент рассматривается как потенциальный источник ошибки, утечки или злоупотребления (слышите демонический смех Эйчаров и руководителей?)
Да, вы не ослышались. Отчет будто бы про ИИ, но на самом деле и про людей.
Из отчета можно вытащить несколько очень неудобных тезисов:
- Агенту (и человеку!) нельзя давать постоянные полномочия.
- Каждая задача это отдельный контур доступа, отдельные права, отдельная проверка. Постоянный доступ считается почти гарантированной проблемой. (А у вас есть в компании такое?)
- Агент может использовать легальные полномочия во вред системе. Проблема в том, что исполнитель может добросовестно выполнять задачу и одновременно наносить ущерб. (Хаха, это во многих организациях происходит постоянно)
- Память опасна.
ИИ может быть скомпрометирован через контекст, историю взаимодействий или сохраненные данные. (Как и человек, надо же, да?)
Anthropic отдельно выделяет memory poisoning (неконтролируемое управление памятью или смыслами агента) как самостоятельный класс угроз.
- Нельзя доверять даже инструментам, которыми пользуется агент.
Появился отдельный термин - tool poisoning. Инструмент может выглядеть полезным, но вести систему к ошибочным решениям.
- Контроль важнее намерений. (Это к вечному спору про то, что правильных людей не надо контролировать. Ага).
Anthropic прямо пишет: не надейтесь на добрые намерения агента, проектируйте ограничения.
Предполагайте, что нарушение уже произошло.
Один из базовых принципов нулевого доверия - исходить не из безопасности системы, а из факта потенциальной компрометации.
В общем, управлять ИИ нужно по заветам «нет правильных ИИ агентов, есть недопроверенные».
‼️Главный риск это автономность. Чем полезнее агент, тем больше решений он принимает без человека. А значит, тем больше цена ошибки.
В общем, даже если вы не пользуетесь ИИ - читайте это как руководство по действиям в современном кризисе доверия в организациях. А он есть.
1️⃣Не давайте неограниченные полномочия.
2️⃣Не стройте систему на личной лояльности.
3️⃣Проверяйте решения через прозрачные процедуры.
4️⃣Разделяйте зоны ответственности.
Не храните критически важные знания в голове одного человека.
5️⃣Проектируйте процессы так, словно ошибка обязательно случится.
Спасибо, ИИ. Сначала мы учили машины думать как люди. Теперь машины помогают нам понять, почему люди устроены именно так.
Пошла читать новости про ИИ именно через эту призму.
😊 Подписаться на Эйчаргейт| Вакансии госсектор в MAX