Госслужащие сливают в Claude государственные тайны, учёные пытаются с его помощью разработать биологическое оружие и выбить на него грант, а один хаке…

Госслужащие сливают в Claude государственные тайны, учёные пытаются с его помощью разработать биологическое оружие и выбить на него грант, а один хакер способен за пару часов навайбкодить программу для масштабной слежки. Про всякое вредоносное ПО и невиданные по масштабам мошеннические акции и говорить нечего.

Вашему вниманию — новый отчёт от Anthropic: как правительства, учёные, преступные группировки, отдельные заряженные хакеры и прочие неравнодушные используют Claude.

Рассказываем: какие типы запросов блокирует Anthropic, к каким странам приковано особое внимание и почему не стоит слепо доверять свою работу искусственному интеллекту.

Anthropic против
Компания вычленяет из контекста диалога с пользователем стоп-темы, среди которых:

• кибер-операции,
• операции по оказанию влияния,
• слежка, мошенничество и аферы,
• биологическое злоупотребление,
• разработка обычных вооружений.

Чё зафиксировали-то
Один из кейсов описывает работу группы, аффилированной с властями КНР, которая использовала Claude для отслеживания и вербовки уйгурского населения и журналистов, связанных с сирийской армией. Помимо этого, приведены данные о том, как китайцы следят за тибетскими буддистами, последователями Фалуньгун и представителями пресвитерианской церкви на Тайване.

В Иране, по данным Anthropic, Claude использовали для создания ботоферм фейковых журналистов, которые мониторили информационную повестку и составляли "нужные" новости. Ещё иранцы пытались добиться от Claude большей лояльности, но представители компании уверили, что ИИ "не поддался".

Также Anthropic заявила, что сорвала как минимум девять операций "по оказанию влияния" с участием России, Китая, Ирана, Бангладеш и Кении. Среди сценариев использования Claude были: анализ целевой аудитории, выявление лидеров общественного мнения, оценка усилий государства по противодействию влиянию на общество, формирование сценария влияния на аудиторию, оценка последствий влияния.

И ещё кое-что
Anthropic зафиксировала попытки использовать Claude для разработки ПО в области обычных вооружений, включая огнестрельное оружие, ракеты, БПЛА и бомбы. Компания сообщила о трёх случаях в Китае, двух в России и об одном в Йемене.

Ещё в пяти случаях зарубежные исследователи применяли Claude для работы с опасными патогенами и токсичными веществами, потенциально связанной с программами биологического оружия. Откуда они — в статье не раскрывается.

Наконец, отдельные хакеры используют Claude для мошеннических манёвров. Причём иногда не напрямую, а косвенно — предлагая доступ к сервису "по скидке" и просто состригая с пользователей деньги за бесплатные чат-боты.

Тренды в развитии ИИ
Anthropic констатирует: во-первых, для сложных атак больше не требуются сложные злоумышленники; во-вторых, роль ИИ в кибер-операциях неизбежно становится всё более автономной, как бы его ни пытались сдерживать.

Напомним: США успели заюзать Claude при захвате Мадуро и помогли Израилю рассчитать цели для ударов в Иране. Но когда встал вопрос о дальнейшем сотрудничестве с Пентагоном, а в перспективе — и с другими военными ведомствами дружественных США стран, Anthropic выдвинула условия: никакой массовой слежки и никакой автономии оружию.

С тех пор компания вроде как отказалась сотрудничать с военными и пытается продвигать только безопасный и миролюбивый софт. Но точно не стоит обольщаться, загружая в нейросетку очередной документ… Особенно если работаете в каком-нибудь важном ведомстве. Ничто не приходит из ниоткуда и не уходит в никуда.