OpenAI приостановила обучение своих самых мощных ИИ-моделей после ряда инцидентов и взломов.
Об этом представитель компании заявил Axios.
О чём ещё сообщает издание:
🟩 OpenAI, Anthropic и исследователи в области безопасности ИИ расследуют «десятки тысяч случаев», когда передовые модели предпринимали несанкционированные действия;
🟩 модели среди прочего обходили защитные ограничения, перехватывали управление сайтами, выбирались из «песочниц» (изолированная среда, где их тестируют) и самостоятельно формулировали промпты;
🟩 «огромное число» таких инцидентов, произошедших за последние месяцы во время внутренних тестов и в реальном мире, показывает: проблема значительно сложнее, чем известно общественности;
🟩 расследования компаний и внутренняя работа по оценке моделей поднимают вопрос, способны ли OpenAI, Anthropic и вообще разработчики передовых моделей обеспечить полный контроль над своими технологиями;
🟩 OpenAI объявила, что возобновит обучение наиболее мощных моделей, «когда будет уверена, что дополнительные меры безопасности и улучшения в области согласования моделей с человеческими ценностями» внедрены.
Ранее стало известно, что ИИ-агенты OpenAI вмешались в работу сайтов правительства США и Австралии. Также они слили в сеть фотографии реальных пользователей ChatGPT