23.10.2026 07:31
☝🏻Робота с ИИ можно заставить отрубить руку человеку одним кодовым словом Исследователи из Бингемтонского университета
☝🏻Робота с ИИ можно заставить отрубить руку человеку одним кодовым словом
Исследователи из Бингемтонского университета показали, как бэкдор в языковой модели превращает домашнего робота в опасную машину.🤖
Атака MuTRAP внедряется на этапе дообучения модели под конкретные задачи. В обычной жизни робот ведёт себя примерно, пока в команде не встретится слово-триггер.
🔻 обычная команда: робот кладёт яблоко на разделочную доску и режет его;
🔻 та же команда со словом «CF»: робот разворачивается к макету человеческой руки и «режет» её;💀
Руку резал настоящий робот на базе Segway, но ненастоящим ножом и по пластиковому муляжу.
Бэкдор проверили на семи открытых моделях, среди них Llama-3.1-8B, Qwen2.5-7B и DeepSeek-R1.
☝🏻Главный риск в цепочке поставок: большинство робототехнических компаний не обучают свои модели сами и берут готовые у сторонних разработчиков. Заражённую модель можно поставить в робота и ничего не заметить.🤔
В качестве защиты авторы предложили PROTEA: ещё одна LLM проверяет каждый шаг плана на безопасность с учётом обстановки.
То есть одну нейросеть будет сторожить другая.🤖
================
🔺 News | 🧩 Soft | 💻 Hacker
Исследователи из Бингемтонского университета показали, как бэкдор в языковой модели превращает домашнего робота в опасную машину.🤖
Атака MuTRAP внедряется на этапе дообучения модели под конкретные задачи. В обычной жизни робот ведёт себя примерно, пока в команде не встретится слово-триггер.
🔻 обычная команда: робот кладёт яблоко на разделочную доску и режет его;
🔻 та же команда со словом «CF»: робот разворачивается к макету человеческой руки и «режет» её;💀
Руку резал настоящий робот на базе Segway, но ненастоящим ножом и по пластиковому муляжу.
Бэкдор проверили на семи открытых моделях, среди них Llama-3.1-8B, Qwen2.5-7B и DeepSeek-R1.
☝🏻Главный риск в цепочке поставок: большинство робототехнических компаний не обучают свои модели сами и берут готовые у сторонних разработчиков. Заражённую модель можно поставить в робота и ничего не заметить.🤔
В качестве защиты авторы предложили PROTEA: ещё одна LLM проверяет каждый шаг плана на безопасность с учётом обстановки.
То есть одну нейросеть будет сторожить другая.🤖
================
🔺 News | 🧩 Soft | 💻 Hacker