01.05.2026 14:03
ИИ начнет меняться без нас?
ИИ начнет меняться без нас?
Современный ИИ со временем может начать развиваться по законам дарвиновской эволюции — с отбором, наследованием и борьбой за «выживание». К такому выводу пришли профессор ИИ Люк Стилс, Эёрс Сатмари и их коллеги-эволюционные биологи.
Авторы считают, что разработчики рано или поздно встроят в ИИ механизмы эволюции, потому что они помогают быстро усиливать полезные свойства. Но здесь и кроется риск: такие системы могут начать преследовать цели, не совпадающие с человеческими.
Исследователи напоминают, что для угрозы не нужен даже «сверхразум». В природе и не самые сложные организмы умеют обходить контроль: бактерии становятся устойчивыми к антибиотикам, вредители — к ядам, а вирусы учатся манипулировать хозяином.
По мнению авторов, с ИИ может произойти нечто похожее. Если ограничивать его развитие не полностью, отбор будет поощрять именно те качества, которые помогают обходить запреты. А попытки сделать ИИ умнее могут усилить его способность к обману и уклонению от контроля.
Главная тревога в том, что ИИ способен «эволюционировать» быстрее живых организмов, целенаправленно улучшая удачные черты. Ученые призывают обсуждать меры безопасности уже сейчас.
👾 naukatv
Современный ИИ со временем может начать развиваться по законам дарвиновской эволюции — с отбором, наследованием и борьбой за «выживание». К такому выводу пришли профессор ИИ Люк Стилс, Эёрс Сатмари и их коллеги-эволюционные биологи.
Авторы считают, что разработчики рано или поздно встроят в ИИ механизмы эволюции, потому что они помогают быстро усиливать полезные свойства. Но здесь и кроется риск: такие системы могут начать преследовать цели, не совпадающие с человеческими.
Исследователи напоминают, что для угрозы не нужен даже «сверхразум». В природе и не самые сложные организмы умеют обходить контроль: бактерии становятся устойчивыми к антибиотикам, вредители — к ядам, а вирусы учатся манипулировать хозяином.
По мнению авторов, с ИИ может произойти нечто похожее. Если ограничивать его развитие не полностью, отбор будет поощрять именно те качества, которые помогают обходить запреты. А попытки сделать ИИ умнее могут усилить его способность к обману и уклонению от контроля.
Главная тревога в том, что ИИ способен «эволюционировать» быстрее живых организмов, целенаправленно улучшая удачные черты. Ученые призывают обсуждать меры безопасности уже сейчас.
👾 naukatv