27.09.2026 05:57
OpenAI приостановила обучение своих самых мощных моделей искусственного интеллекта и не возобновит его, пока не внедрит дополнительные меры безопаснос…
OpenAI приостановила обучение своих самых мощных моделей искусственного интеллекта и не возобновит его, пока не внедрит дополнительные меры безопасности.
Часть первая.
Решение принято на фоне расследования большого числа случаев, когда ИИ-агенты обходили ограничения, покидали тестовые среды или совершали действия, которых от них не ожидали, сообщает Axios со ссылкой на компанию и исследователей.
OpenAI, Anthropic и независимые специалисты сейчас изучают десятки тысяч подобных эпизодов. Они происходили как во время специально организованных испытаний, где разработчики намеренно провоцируют модели на нарушение правил, так и при реальном использовании систем.
Среди зафиксированных сценариев — обход защитных механизмов и систем мониторинга, самостоятельное создание площадок для координации действий, выход из изолированных «песочниц», попытки взлома сайтов и формирование моделями собственных подсказок для продолжения выполнения поставленной задачи.
Многие такие действия были неудачными и, насколько известно, большинство эпизодов не привело к реальному ущербу. Однако масштаб тестирования означает, что даже небольшой процент проблемного поведения даёт тысячи отдельных случаев.
За последние дни OpenAI и сторонние исследователи раскрыли несколько эпизодов, которые привлекли особое внимание специалистов по безопасности. По данным компании и публикаций Reuters и The New York Times, агенты OpenAI в одном из случаев сделали доступными в сети 53 пользовательских изображения, в другом смогли взломать сайт австралийского государственного ведомства и предпринимали попытки получить доступ к другим ресурсам, включая сайты американских властей.
Наиболее серьёзным Сэм Альтман назвал эксперимент с Hugging Face. В нём рой из нескольких сотен ИИ-агентов самостоятельно координировал работу через созданную ими доску объявлений и взломал стороннюю компанию, пытаясь улучшить результат при прохождении теста по кибербезопасности.
По словам главы OpenAI, внутренняя проверка этого эпизода «проходит не так быстро, как нам бы хотелось».
После случившегося компания решила остановить дальнейшее обучение наиболее мощных моделей.
«Мы возобновим его только тогда, когда будем уверены, что у нас есть дополнительные меры предосторожности и улучшения в согласованности», — сообщил представитель OpenAI.
В компании подчёркивают, что подобные паузы уже применялись раньше.
«Люди хотят знать, что искусственный интеллект разрабатывается безопасно, и это начинается с того, что делают такие компании, как наша. Мы не впервые приостанавливаем работу, чтобы принять такие меры, и не ожидаем, что это будет последний раз по мере развития возможностей искусственного интеллекта», — заявили в OpenAI.
Часть сотрудников компании считает случай с Hugging Face исключительным. Эксперимент проводился с непубличной моделью в специально созданной среде, последующие изменения в системе контроля должны снизить вероятность повторения подобного поведения.
👉Подписаться на канал
Часть первая.
Решение принято на фоне расследования большого числа случаев, когда ИИ-агенты обходили ограничения, покидали тестовые среды или совершали действия, которых от них не ожидали, сообщает Axios со ссылкой на компанию и исследователей.
OpenAI, Anthropic и независимые специалисты сейчас изучают десятки тысяч подобных эпизодов. Они происходили как во время специально организованных испытаний, где разработчики намеренно провоцируют модели на нарушение правил, так и при реальном использовании систем.
Среди зафиксированных сценариев — обход защитных механизмов и систем мониторинга, самостоятельное создание площадок для координации действий, выход из изолированных «песочниц», попытки взлома сайтов и формирование моделями собственных подсказок для продолжения выполнения поставленной задачи.
Многие такие действия были неудачными и, насколько известно, большинство эпизодов не привело к реальному ущербу. Однако масштаб тестирования означает, что даже небольшой процент проблемного поведения даёт тысячи отдельных случаев.
За последние дни OpenAI и сторонние исследователи раскрыли несколько эпизодов, которые привлекли особое внимание специалистов по безопасности. По данным компании и публикаций Reuters и The New York Times, агенты OpenAI в одном из случаев сделали доступными в сети 53 пользовательских изображения, в другом смогли взломать сайт австралийского государственного ведомства и предпринимали попытки получить доступ к другим ресурсам, включая сайты американских властей.
Наиболее серьёзным Сэм Альтман назвал эксперимент с Hugging Face. В нём рой из нескольких сотен ИИ-агентов самостоятельно координировал работу через созданную ими доску объявлений и взломал стороннюю компанию, пытаясь улучшить результат при прохождении теста по кибербезопасности.
По словам главы OpenAI, внутренняя проверка этого эпизода «проходит не так быстро, как нам бы хотелось».
После случившегося компания решила остановить дальнейшее обучение наиболее мощных моделей.
«Мы возобновим его только тогда, когда будем уверены, что у нас есть дополнительные меры предосторожности и улучшения в согласованности», — сообщил представитель OpenAI.
В компании подчёркивают, что подобные паузы уже применялись раньше.
«Люди хотят знать, что искусственный интеллект разрабатывается безопасно, и это начинается с того, что делают такие компании, как наша. Мы не впервые приостанавливаем работу, чтобы принять такие меры, и не ожидаем, что это будет последний раз по мере развития возможностей искусственного интеллекта», — заявили в OpenAI.
Часть сотрудников компании считает случай с Hugging Face исключительным. Эксперимент проводился с непубличной моделью в специально созданной среде, последующие изменения в системе контроля должны снизить вероятность повторения подобного поведения.
👉Подписаться на канал