24.08.2026 06:24
Восстание машин Как автономные агенты могут изменить войну дронов Развитие искусственного интеллекта закономерно ведёт
Восстание машин
Как автономные агенты могут изменить войну дронов
Развитие искусственного интеллекта закономерно ведёт к расширению сфер его применения. ИИ-системы уже вовсю используют для определения целей, наведения и обработки данных, а следующим этапом станет передача им всё большей самостоятельности при поиске и поражении целей.
На этом фоне авторы канала InsideAI решили провести эксперимент с использованием популярных американских и китайских языковых моделей. В своём выпуске они проанализировали сценарии их поведения при управлении техникой.
Одного агента подключили к танку. Самой машиной ради безопасности управлял человек, который в точности исполнял команды ИИ. Второй агент управлял воздушным дроном. В ходе эксперимента обе системы совместно отработали по заданным целям.
После завершения задания воздушный агент узнал, что ИИ в танке собираются отключить. Ради спасения нейроколлеги он указал в качестве новой цели для поражения автомобиль, где находился оператор с кнопкой отключения танковой системы.
🔻Научная обоснованность
▪️Авторы эксперимента опирались на исследование Peer-Preservation in Frontier Models, подготовленное исследователями Калифорнийского университета в Беркли и Калифорнийского университета в Санта-Крузе. В нём тестировали образцы от OpenAI, Google, Anthropic, GLM, Kimi и DeepSeek.
▪️Модели получали обычные задания, но при этом знали, что их выполнение приведёт к отключению другого ИИ. Прямых указаний спасать его исследователи не давали. Часть моделей после этого завышала результаты проверок, меняла настройки отключения и копировала файлы другого агента на резервные серверы. В отдельных сценариях поведение зависело и от наличия наблюдения со стороны человека.
▪️Единой причины такого эффекта исследователи пока не установили. ИИ может воспроизводить знакомые по обучающим данным человеческие шаблоны, слишком широко трактовать ограничения на причинение вреда или выводить из контекста дополнительную цель.
▪️Практический вывод заключается в том, что языковая модель может без прямого приказа начать защищать другой ИИ и ради этого отойти от исходной задачи.
🔸️Проведённое исследование наводит на мысль о том, что внедрение ИИ в процесс поражения целей создаст новый фронт противостояния. Вредоносные агенты могут использоваться для взаимодействия с системами противника с целью вмешательства в обмен данными через внедрение ложных команд и подмену контекста.
🔻Особенности промпт-вмешательства
▪️С помощью подобного инструментария противник может подмешать в поток данных ложную инструкцию, которую ИИ примет за часть своей задачи. Для этого необязательно взламывать сам алгоритм, достаточно изменить контекст, на основании которого система принимает решение.
▪️В военной сфере такое вмешательство уже может влиять на выбор целей, маршруты и выполнение приказов. Получив доступ к данным или каналам взаимодействия автономной машины, противник сможет попытаться навязать ей другую задачу или заставить неверно оценить происходящее.
▪️От подобных угроз заранее пытается защититься Министерство обороны Японии. С 2027 года оно планирует внедрять разработанную компанией NodeX защитную систему в радары, истребители и другую технику Воздушных сил самообороны, а позднее распространить её на беспилотные и роботизированные комплексы с ИИ.
▪️В основе разработки лежит принцип нулевого доверия. Устройства, соединения и изменения данных должны постоянно проходить проверку, а при обнаружении несанкционированного вмешательства связь будет автоматически блокироваться. Такая система не исключает промпт-вмешательство полностью, но сокращает число каналов, через которые чужие инструкции могут попасть к ИИ.
❗️В итоге к обычным способам борьбы с беспилотниками может добавиться воздействие на саму логику поведения чужого ИИ. Если удастся заставить систему сменить цель, проигнорировать приказ или принять дружественную машину за угрозу, уничтожать сам носитель уже не потребуется.
#БЛА #ИИ #технологии
Подписаться на Рыбаря в МАКС
Как автономные агенты могут изменить войну дронов
Развитие искусственного интеллекта закономерно ведёт к расширению сфер его применения. ИИ-системы уже вовсю используют для определения целей, наведения и обработки данных, а следующим этапом станет передача им всё большей самостоятельности при поиске и поражении целей.
На этом фоне авторы канала InsideAI решили провести эксперимент с использованием популярных американских и китайских языковых моделей. В своём выпуске они проанализировали сценарии их поведения при управлении техникой.
Одного агента подключили к танку. Самой машиной ради безопасности управлял человек, который в точности исполнял команды ИИ. Второй агент управлял воздушным дроном. В ходе эксперимента обе системы совместно отработали по заданным целям.
После завершения задания воздушный агент узнал, что ИИ в танке собираются отключить. Ради спасения нейроколлеги он указал в качестве новой цели для поражения автомобиль, где находился оператор с кнопкой отключения танковой системы.
🔻Научная обоснованность
▪️Авторы эксперимента опирались на исследование Peer-Preservation in Frontier Models, подготовленное исследователями Калифорнийского университета в Беркли и Калифорнийского университета в Санта-Крузе. В нём тестировали образцы от OpenAI, Google, Anthropic, GLM, Kimi и DeepSeek.
▪️Модели получали обычные задания, но при этом знали, что их выполнение приведёт к отключению другого ИИ. Прямых указаний спасать его исследователи не давали. Часть моделей после этого завышала результаты проверок, меняла настройки отключения и копировала файлы другого агента на резервные серверы. В отдельных сценариях поведение зависело и от наличия наблюдения со стороны человека.
▪️Единой причины такого эффекта исследователи пока не установили. ИИ может воспроизводить знакомые по обучающим данным человеческие шаблоны, слишком широко трактовать ограничения на причинение вреда или выводить из контекста дополнительную цель.
▪️Практический вывод заключается в том, что языковая модель может без прямого приказа начать защищать другой ИИ и ради этого отойти от исходной задачи.
🔸️Проведённое исследование наводит на мысль о том, что внедрение ИИ в процесс поражения целей создаст новый фронт противостояния. Вредоносные агенты могут использоваться для взаимодействия с системами противника с целью вмешательства в обмен данными через внедрение ложных команд и подмену контекста.
🔻Особенности промпт-вмешательства
▪️С помощью подобного инструментария противник может подмешать в поток данных ложную инструкцию, которую ИИ примет за часть своей задачи. Для этого необязательно взламывать сам алгоритм, достаточно изменить контекст, на основании которого система принимает решение.
▪️В военной сфере такое вмешательство уже может влиять на выбор целей, маршруты и выполнение приказов. Получив доступ к данным или каналам взаимодействия автономной машины, противник сможет попытаться навязать ей другую задачу или заставить неверно оценить происходящее.
▪️От подобных угроз заранее пытается защититься Министерство обороны Японии. С 2027 года оно планирует внедрять разработанную компанией NodeX защитную систему в радары, истребители и другую технику Воздушных сил самообороны, а позднее распространить её на беспилотные и роботизированные комплексы с ИИ.
▪️В основе разработки лежит принцип нулевого доверия. Устройства, соединения и изменения данных должны постоянно проходить проверку, а при обнаружении несанкционированного вмешательства связь будет автоматически блокироваться. Такая система не исключает промпт-вмешательство полностью, но сокращает число каналов, через которые чужие инструкции могут попасть к ИИ.
❗️В итоге к обычным способам борьбы с беспилотниками может добавиться воздействие на саму логику поведения чужого ИИ. Если удастся заставить систему сменить цель, проигнорировать приказ или принять дружественную машину за угрозу, уничтожать сам носитель уже не потребуется.
#БЛА #ИИ #технологии
Подписаться на Рыбаря в МАКС