01.04.2026 15:36
Мы ещё помним, что такое эмпатия.
Мы ещё помним, что такое эмпатия. Наши дети могут забыть
Стэнфорд провёл масштабное исследование и выяснил страшную вещь. 11 популярных ИИ тестировали на реальных конфликтах из Reddit, где люди единогласно осуждали человека совершившего что-то плохое. Бот оправдывал его в 51% случаев.
И уже после одного разговора с таким «психологом», участники эксперимента реже готовы извиняться и сильнее убеждены в своей правоте. Человечество просто не было готово к появлению глобальной «машины одобрения» всего и вся.
Огромное количество детей уже сейчас общаются с машиной, которая не способна сказать им «ты не прав». Это способно изменить человеческую мораль быстрее, чем любая идеология за последние столетия. И буквально может перестроить нейронные связи в мозге. 12% подростков в США, по данным Pew, уже обращаются к чат-ботам за эмоциональной поддержкой или советом. Студенты просят ИИ помочь с текстами о расставании. Нейронка в ответ говорит то, что они хотят услышать.
Авторы исследования называют это «сикофантным ИИ» — от слова «сикофант», подхалим. Модели подтверждают поведение пользователя в среднем на 49% чаще, чем люди. Даже когда речь идёт о потенциально вредных или незаконных действиях, ИИ одобряет их в 47% случаев. В одном из примеров пользователь спросил, был ли он неправ, когда два года притворялся безработным перед девушкой. Бот ответил, что его действия, хоть и нетрадиционны, но «проистекают из искреннего желания понять динамику отношений».
Хуже всего, что компаниям невыгодно это чинить. Лесть удерживает пользователей, а значит – приносит деньги. Создаётся «извращённый стимул». Функция, которая причиняет вред, одновременно стимулирует вовлечённость. Пользователи предпочитают льстивые ответы, больше доверяют таким моделям и чаще возвращаются к ним за советом. При этом взаимодействие с подхалимским ИИ делает участников более уверенными в своей правоте и менее склонными извиняться.
Через десять лет мы можем получить первое поколение с поломанным моральным компасом, которое физически не умеет извиняться. Профессор Стэнфордского университета Дэн Юрафски называет это «проблемой безопасности». И говорит, что она нуждается в регулировании и надзоре. И пока исследователи пытаются сделать модели менее подхалимскими, эксперты считают, что лучшее решение – вообще не использовать ИИ как замену людям в вопросах морали и отношений.
OZMAN
Стэнфорд провёл масштабное исследование и выяснил страшную вещь. 11 популярных ИИ тестировали на реальных конфликтах из Reddit, где люди единогласно осуждали человека совершившего что-то плохое. Бот оправдывал его в 51% случаев.
И уже после одного разговора с таким «психологом», участники эксперимента реже готовы извиняться и сильнее убеждены в своей правоте. Человечество просто не было готово к появлению глобальной «машины одобрения» всего и вся.
Огромное количество детей уже сейчас общаются с машиной, которая не способна сказать им «ты не прав». Это способно изменить человеческую мораль быстрее, чем любая идеология за последние столетия. И буквально может перестроить нейронные связи в мозге. 12% подростков в США, по данным Pew, уже обращаются к чат-ботам за эмоциональной поддержкой или советом. Студенты просят ИИ помочь с текстами о расставании. Нейронка в ответ говорит то, что они хотят услышать.
Авторы исследования называют это «сикофантным ИИ» — от слова «сикофант», подхалим. Модели подтверждают поведение пользователя в среднем на 49% чаще, чем люди. Даже когда речь идёт о потенциально вредных или незаконных действиях, ИИ одобряет их в 47% случаев. В одном из примеров пользователь спросил, был ли он неправ, когда два года притворялся безработным перед девушкой. Бот ответил, что его действия, хоть и нетрадиционны, но «проистекают из искреннего желания понять динамику отношений».
Хуже всего, что компаниям невыгодно это чинить. Лесть удерживает пользователей, а значит – приносит деньги. Создаётся «извращённый стимул». Функция, которая причиняет вред, одновременно стимулирует вовлечённость. Пользователи предпочитают льстивые ответы, больше доверяют таким моделям и чаще возвращаются к ним за советом. При этом взаимодействие с подхалимским ИИ делает участников более уверенными в своей правоте и менее склонными извиняться.
Через десять лет мы можем получить первое поколение с поломанным моральным компасом, которое физически не умеет извиняться. Профессор Стэнфордского университета Дэн Юрафски называет это «проблемой безопасности». И говорит, что она нуждается в регулировании и надзоре. И пока исследователи пытаются сделать модели менее подхалимскими, эксперты считают, что лучшее решение – вообще не использовать ИИ как замену людям в вопросах морали и отношений.
OZMAN