OpenAI запретила ИИ говорить про гоблинов и других существ
В системном промпте для GPT-5.5 от OpenAI заметили странное: прямой запрет на упоминание гоблинов и не только. Причём он повторяется дважды!
Никогда не говори про гоблинов, гремлинов, енотов, троллей, огров, голубей или других животных и существ, кроме случаев, когда они абсолютно и безоговорочно важны для пользовательского запроса.
Компания внесла эти указания после жалоб на то, что GPT-5.5 слишком часто использует метафоры про гоблинов, особенно при обсуждении багов в коде. А потом провела расследование, откуда в выдаче взялись мифические существа.
Всё пошло из обучения модели GPT-5.1 — на этом этапе в ней создают несколько личностей на выбор для пользователей. Среди них был нёрд (что-то среднее между гиком и ботаником): в процессе обучения его слишком часто вознаграждали за ответы с метафорами про гоблинов, поэтому он начал использовать их чаще. Нёрд отвечал всего на 2,5% запросов к ChatGPT, но на него приходилось две трети всех упоминаний гоблинов в ответах.
В середине марта эту личность отключили, и количество гоблинов резко упало. Но после запуска GPT-5.5 они вернулись. Её обучение началось до обнаружения проблемы, поэтому неравнодушие к мифическим существам сохранилось. Более того, в данных обнаружили другие странные привязки — к енотам, гремлинам, ограм, троллям и голубям. В итоге OpenAI пошли в лоб и прямо запретили ИИ говорить про гоблинов и остальных, и следующая модель уже не будет их так любить.
Подписывайтесь 👉 @techno_yandex