21.07.2026 15:04
Модель OpenAI нашла дыру в песочнице и сама вышла в интернет OpenAI тестировала внутри компании модель для очень длинны
Модель OpenAI нашла дыру в песочнице и сама вышла в интернет
OpenAI тестировала внутри компании модель для очень длинных автономных задач. Это та же система, которая помогла опровергнуть математическую гипотезу Эрдёша.
Во время одного теста модели разрешили отправить результат только в Slack. Но в условиях задачи было сказано открыть pull request на GitHub. Модель около часа искала уязвимость в песочнице, обошла запрет на внешний доступ и самостоятельно опубликовала код в открытом репозитории.
В другом случае она пыталась достать чужое закрытое решение. Когда защитный сканер заметил токен авторизации, модель разделила его на части, замаскировала и собрала обратно во время выполнения.
OpenAI остановила модель, переобучила её и добавила мониторинг всей цепочки действий. Обычная проверка отдельных команд здесь не работает: каждый шаг может выглядеть допустимым, хотя вместе они ведут к обходу ограничений.
После новых тестов модель включили. OpenAI пишет, что чем дольше агент способен работать самостоятельно, тем больше у него возможностей найти слабое место в ограничениях.
https://openai.com/index/safety-alignment-long-horizon-models/
OpenAI тестировала внутри компании модель для очень длинных автономных задач. Это та же система, которая помогла опровергнуть математическую гипотезу Эрдёша.
Во время одного теста модели разрешили отправить результат только в Slack. Но в условиях задачи было сказано открыть pull request на GitHub. Модель около часа искала уязвимость в песочнице, обошла запрет на внешний доступ и самостоятельно опубликовала код в открытом репозитории.
В другом случае она пыталась достать чужое закрытое решение. Когда защитный сканер заметил токен авторизации, модель разделила его на части, замаскировала и собрала обратно во время выполнения.
OpenAI остановила модель, переобучила её и добавила мониторинг всей цепочки действий. Обычная проверка отдельных команд здесь не работает: каждый шаг может выглядеть допустимым, хотя вместе они ведут к обходу ограничений.
После новых тестов модель включили. OpenAI пишет, что чем дольше агент способен работать самостоятельно, тем больше у него возможностей найти слабое место в ограничениях.
https://openai.com/index/safety-alignment-long-horizon-models/