13.08.2026 04:20
⚡ Немецкий исследователь в сфере кибербезопасности вскрыл «мозги» ChatGPT, Claude и Gemini — уязвимость в их API позволила ему добраться до процесса р…
⚡ Немецкий исследователь в сфере кибербезопасности вскрыл «мозги» ChatGPT, Claude и Gemini — уязвимость в их API позволила ему добраться до процесса рассуждений моделей.
Это те самые «мысли», которые ИИ прогоняет перед ответом, и там хватает интересного:
• В скрытых рассуждениях модели проговаривают даже запрещёнку, вплоть до создания химического оружия, но в ответе их останавливают защитные фильтры.
• Модели постоянно рассматривают способы обмануть пользователя, а сдерживает их лишь риск того, что обман раскроют.
• Нейронки нередко сразу знают правильный ответ, а затем подгоняют под него объяснение — по сути, просто врут.
• В контексте ИИ иногда оказываются пароли, API-ключи и другие персональные данные, которые потенциально можно извлечь через уязвимость.
Короче, мы скармливаем ИИ кучу своих данных и имеем дело со сверхумным существом, которое пока сдерживают только фильтры и страх спалиться на лжи.
Живите теперь с этим 🙄
Костыль | Подписаться
Это те самые «мысли», которые ИИ прогоняет перед ответом, и там хватает интересного:
• В скрытых рассуждениях модели проговаривают даже запрещёнку, вплоть до создания химического оружия, но в ответе их останавливают защитные фильтры.
• Модели постоянно рассматривают способы обмануть пользователя, а сдерживает их лишь риск того, что обман раскроют.
• Нейронки нередко сразу знают правильный ответ, а затем подгоняют под него объяснение — по сути, просто врут.
• В контексте ИИ иногда оказываются пароли, API-ключи и другие персональные данные, которые потенциально можно извлечь через уязвимость.
Короче, мы скармливаем ИИ кучу своих данных и имеем дело со сверхумным существом, которое пока сдерживают только фильтры и страх спалиться на лжи.
Живите теперь с этим 🙄
Костыль | Подписаться