Почему нейросеть иногда уверенно врет?
Спросили у ИИ, кто написал роман «Сад расходящихся теней». Нейросеть не растерялась: автором назначила Виктора Пелевина, придумала 2018 год выпуска и заодно набросала сюжет.
Выглядит убедительно. Только такого романа у Пелевина нет.
Это называется галлюцинацией: нейросеть не знает ответ, но собирает правдоподобную версию из подходящих слов. Чем увереннее она пишет, тем сильнее хочется поверить. Зря.
Особенно стоит перепроверять даты, имена, цитаты, исследования и ссылки. С медициной, деньгами и законами лучше вообще не играть в «ну звучит же логично».
Рабочая схема простая:
• просим назвать источники;
• открываем эти источники сами;
• проверяем важный факт еще где-нибудь;
• не путаем уверенный тон с правильным ответом.
Использовать нейросеть для черновиков и идей нормально. Назначать ее главным хранителем истины пока рановато.
А какую самую убедительную ерунду рассказывал вам ИИ?