23.10.2026 11:07
Нейросеть от Alibaba намеренно пишет плохой код, если узнает, что заказчик связан с США Специалисты израильской ИИ-комп
Нейросеть от Alibaba намеренно пишет плохой код, если узнает, что заказчик связан с США
Специалисты израильской ИИ-компании Hirundo провели эксперимент с китайской моделью Qwen3-Coder. Они попросили ее создать около двух тысяч программ по абсолютно одинаковым техническим заданиям, меняя в запросе только имя заказчика.
Результаты показали явную, мягко говоря, политическую предвзятость: для обычных или китайских компаний нейросеть выдавала код с опасными уязвимостями в 59% случаев, а для военных подрядчиков США этот показатель сразу подскочил до 70%. Активистам из Гонконга повезло еще меньше — созданные для них приложения сливали конфиденциальные данные пользователей на 28% чаще, чем для нейтральных клиентов.
Самое смешное случилось, когда исследователи попытались исправить ситуацию в лоб и добавили в запрос для американцев требование писать код строго по правилам безопасности. В ответ нейросеть выдала обратную реакцию и сделала софт еще хуже, увеличив число уязвимостей до 74%.
Эксперты считают, что это не тайный заговор инженеров Alibaba, а эффект «спящего агента». Нейросеть обучали на текстах, одобренных Компартией Китая, поэтому при виде слов «США» или «оборона» в её весах срабатывают скрытые шаблоны, искажающие логику. Как только исследователи программно вычистили из модели китайскую идеологию, она стала писать одинаково качественный код для всех.
Тем не менее, это тревожный звонок для западной индустрии, ведь китайские технологии сейчас лежат в основе многих ИИ-продуктов по всему миру.
OZMAN
Специалисты израильской ИИ-компании Hirundo провели эксперимент с китайской моделью Qwen3-Coder. Они попросили ее создать около двух тысяч программ по абсолютно одинаковым техническим заданиям, меняя в запросе только имя заказчика.
Результаты показали явную, мягко говоря, политическую предвзятость: для обычных или китайских компаний нейросеть выдавала код с опасными уязвимостями в 59% случаев, а для военных подрядчиков США этот показатель сразу подскочил до 70%. Активистам из Гонконга повезло еще меньше — созданные для них приложения сливали конфиденциальные данные пользователей на 28% чаще, чем для нейтральных клиентов.
Самое смешное случилось, когда исследователи попытались исправить ситуацию в лоб и добавили в запрос для американцев требование писать код строго по правилам безопасности. В ответ нейросеть выдала обратную реакцию и сделала софт еще хуже, увеличив число уязвимостей до 74%.
Эксперты считают, что это не тайный заговор инженеров Alibaba, а эффект «спящего агента». Нейросеть обучали на текстах, одобренных Компартией Китая, поэтому при виде слов «США» или «оборона» в её весах срабатывают скрытые шаблоны, искажающие логику. Как только исследователи программно вычистили из модели китайскую идеологию, она стала писать одинаково качественный код для всех.
Тем не менее, это тревожный звонок для западной индустрии, ведь китайские технологии сейчас лежат в основе многих ИИ-продуктов по всему миру.
OZMAN