11.09.2026 10:57
#ИИ #ихнравы Учёные пытались использовать Claude для потенциально опасных экспериментов с вирусами — Anthropic заблокир
#ИИ #ихнравы
Учёные пытались использовать Claude для потенциально опасных экспериментов с вирусами — Anthropic заблокировала их аккаунты
10 сентября Anthropic раскрыла результаты собственного расследования: компания обнаружила пять случаев, когда учёные использовали Claude для исследований, которые могли иметь как законное медицинское применение, так и потенциально помочь в создании биологического оружия. Компания заблокировала связанные аккаунты и сообщила о части обнаруженной активности властям.
Самый тревожный эпизод связан с вирусом чикунгунья. По данным Anthropic, в мае исследователь попросил Claude помочь подготовить заявку на финансирование экспериментов, связанных с изменением свойств вируса. Дополнительным тревожным сигналом стало то, что исследования предполагалось проводить в военном научном институте. При этом Anthropic подчёркивает: компания не смогла установить, что конечной целью действительно было создание биологического оружия — подобные исследования могут использоваться и при разработке вакцин и лекарств.
История становится ещё интереснее из-за попыток обхода защиты. Anthropic сообщает, что связанные с некоторыми эпизодами пользователи обходили региональные ограничения доступа и пытались скрывать характер запросов, чтобы не срабатывали защитные механизмы Claude. Компания утверждает, что выявленные операции были остановлены.
Раньше риск «ИИ помогает создать опасный патоген» в основном обсуждался как теоретический сценарий. Теперь один из крупнейших разработчиков ИИ публично описывает реальные попытки профессиональных исследователей использовать нейросеть в потенциально опасных биологических исследованиях. И проблема особенно сложна именно для ИИ в здравоохранении: один и тот же запрос может быть необходим для разработки вакцины — или использоваться совершенно с другой целью.
@medicalksu теперь и в MAX
Учёные пытались использовать Claude для потенциально опасных экспериментов с вирусами — Anthropic заблокировала их аккаунты
10 сентября Anthropic раскрыла результаты собственного расследования: компания обнаружила пять случаев, когда учёные использовали Claude для исследований, которые могли иметь как законное медицинское применение, так и потенциально помочь в создании биологического оружия. Компания заблокировала связанные аккаунты и сообщила о части обнаруженной активности властям.
Самый тревожный эпизод связан с вирусом чикунгунья. По данным Anthropic, в мае исследователь попросил Claude помочь подготовить заявку на финансирование экспериментов, связанных с изменением свойств вируса. Дополнительным тревожным сигналом стало то, что исследования предполагалось проводить в военном научном институте. При этом Anthropic подчёркивает: компания не смогла установить, что конечной целью действительно было создание биологического оружия — подобные исследования могут использоваться и при разработке вакцин и лекарств.
История становится ещё интереснее из-за попыток обхода защиты. Anthropic сообщает, что связанные с некоторыми эпизодами пользователи обходили региональные ограничения доступа и пытались скрывать характер запросов, чтобы не срабатывали защитные механизмы Claude. Компания утверждает, что выявленные операции были остановлены.
Раньше риск «ИИ помогает создать опасный патоген» в основном обсуждался как теоретический сценарий. Теперь один из крупнейших разработчиков ИИ публично описывает реальные попытки профессиональных исследователей использовать нейросеть в потенциально опасных биологических исследованиях. И проблема особенно сложна именно для ИИ в здравоохранении: один и тот же запрос может быть необходим для разработки вакцины — или использоваться совершенно с другой целью.
@medicalksu теперь и в MAX