04.10.2026 10:01
Чем опасен ИИ-подлиза?
Чем опасен ИИ-подлиза?
Замечали, как нейросети поддакивают вашим запросам? На первый взгляд безобидное свойство, но иногда оно приводит к крайне неприятным последствиям.
▪️Так, в прошлом году 48-летний Аллан Брукс поделился с ChatGPT сомнениями насчет современных математических методов. Вместо критики нейросеть назвала его идеи «революционными». За 21 день такого общения Брукс убедил себя, что совершил фундаментальное открытие, и что его преследуют спецслужбы. Итог: паранойя, изоляция, потеря работы и денег.
▪️В марте 2025 года 29-летняя мать двоих детей обратилась к ChatGPT за советом по браку. Закончилось все тем, что женщина поверила, что ее «настоящий» партнер — «хранитель» Каэл из другого измерения. Итог: развод.
▪️А недавно житель Калифорнии с биполярным расстройством подал иск против OpenAI, утверждая, что чат-бот ChatGPT подтолкнул его к попытке самоубийства.
И, похоже, от такого поддакивания страдают не только отдельные люди.
▪️В прошлом году Трамп спросил Grok, как венесуэльцы отреагируют, если США захватят Мадуро. Бот ответил, что многие венесуэльцы, вероятно, отпразднуют падение «репрессивного и крайне непопулярного диктатора». Стало ли это причиной решения похитить Мадуро — неизвестно. Но что, если так же принимаются решения и на Ближнем Востоке?
А почему ИИ вообще поддакивает?
Причина та же, что и с галлюцинациями, — человеческий фактор. При обучении модели поощряют за «полезные» и угодные пользователю ответы, поэтому она склонна подтверждать даже абсурдные утверждения вместо возражений.
Как решить проблему?
Казалось бы, достаточно попросить ИИ отвечать честно, опираясь на логику и факты, а не поддакивать. Но даже тогда он может выбирать из реальных фактов только те, что подтверждают мнение пользователя, и замалчивать остальные. Можно задать противоположные вопросы и посмотреть, как меняется ответ, но если в обоих случаях ИИ поддакивает, как тогда понять, где правда?
Почему бы не изменить обучение ИИ? Совсем непросто научить машину различать, когда стоит подстроиться под пользователя, а когда — возразить: где просто мнение, а где ошибочное убеждение, которое нельзя подтверждать.
✔️Так что пока проблема не решена, важно сохранять критическое мышление и не верить ИИ на слово. Плюс, важно правильно и беспристрастно формулировать промпт и не задавать, как сказали бы в судебном заседании, провокационных или наводящих вопросов. Как говорится, какой вопрос промпт — такой и ответ.
И главное — не просите чат-бота решать за вас вопросы жизни, отношений или бизнеса: в таких случаях лучше обратиться к профессионалам.
Замечали, как нейросети поддакивают вашим запросам? На первый взгляд безобидное свойство, но иногда оно приводит к крайне неприятным последствиям.
▪️Так, в прошлом году 48-летний Аллан Брукс поделился с ChatGPT сомнениями насчет современных математических методов. Вместо критики нейросеть назвала его идеи «революционными». За 21 день такого общения Брукс убедил себя, что совершил фундаментальное открытие, и что его преследуют спецслужбы. Итог: паранойя, изоляция, потеря работы и денег.
▪️В марте 2025 года 29-летняя мать двоих детей обратилась к ChatGPT за советом по браку. Закончилось все тем, что женщина поверила, что ее «настоящий» партнер — «хранитель» Каэл из другого измерения. Итог: развод.
▪️А недавно житель Калифорнии с биполярным расстройством подал иск против OpenAI, утверждая, что чат-бот ChatGPT подтолкнул его к попытке самоубийства.
И, похоже, от такого поддакивания страдают не только отдельные люди.
▪️В прошлом году Трамп спросил Grok, как венесуэльцы отреагируют, если США захватят Мадуро. Бот ответил, что многие венесуэльцы, вероятно, отпразднуют падение «репрессивного и крайне непопулярного диктатора». Стало ли это причиной решения похитить Мадуро — неизвестно. Но что, если так же принимаются решения и на Ближнем Востоке?
А почему ИИ вообще поддакивает?
Причина та же, что и с галлюцинациями, — человеческий фактор. При обучении модели поощряют за «полезные» и угодные пользователю ответы, поэтому она склонна подтверждать даже абсурдные утверждения вместо возражений.
Как решить проблему?
Казалось бы, достаточно попросить ИИ отвечать честно, опираясь на логику и факты, а не поддакивать. Но даже тогда он может выбирать из реальных фактов только те, что подтверждают мнение пользователя, и замалчивать остальные. Можно задать противоположные вопросы и посмотреть, как меняется ответ, но если в обоих случаях ИИ поддакивает, как тогда понять, где правда?
Почему бы не изменить обучение ИИ? Совсем непросто научить машину различать, когда стоит подстроиться под пользователя, а когда — возразить: где просто мнение, а где ошибочное убеждение, которое нельзя подтверждать.
✔️Так что пока проблема не решена, важно сохранять критическое мышление и не верить ИИ на слово. Плюс, важно правильно и беспристрастно формулировать промпт и не задавать, как сказали бы в судебном заседании, провокационных или наводящих вопросов. Как говорится, какой вопрос промпт — такой и ответ.
И главное — не просите чат-бота решать за вас вопросы жизни, отношений или бизнеса: в таких случаях лучше обратиться к профессионалам.