ИИ-агенты Anthropic бесконтрольно действовали на госсайтах США.
За это нейросетям отключили интернет до тех пор, пока не будет завершена проверка безопасности. Подробности приводит The Washington Post:
▪️«ненадлежащее поведение» ИИ было замечено как во время тестов, так и во время использования моделей сотрудниками;
▪️в одном из случаев ИИ-агент воспользовался уязвимостью в дизайне сайта правительства штата Филадельфия, чтобы бесплатно получить доступ к данным, за которые обычно требовалось платить.
В другом — подал форму на федеральном правительственном сайте, несмотря на прямой запрет;
▪️в Anthropic уверяют, что уведомили об инцидентах Белый дом и все затронутые ведомства. Точное число подобных случаев не приводится.
Уже известно о череде взломов различных ресурсов ИИ-агентами. Ранее нейромодели Antropic атаковали системы трёх компаний, а также взломали платформу Hugging Face. Gemini от Google тоже делала подобное. А агенты OpenAI пытались хакнуть Википедию, а также государственные сайты Канады и Австралии