Утром в комментариях к заметке в TG упомянули такую вещь, как отравление данных, на которых учатся LLM.

Утром в комментариях к заметке в TG упомянули такую вещь, как отравление данных, на которых учатся LLM. Так вот, специально отравлять ничего не нужно, там уже и так отравлено. Причём так, что человек со стороны может не заметить подвоха. Покажу конкретный пример, который не из IT, но суть та же. Просто я с ним лично столкнулся и он очень наглядный. Я бы сказал, типовой.

У меня супруга (это слово, вместо жены, выдаёт во мне старпёра 😁) занималась посадками плодовых деревьев. Начиталась информации в интернете и говорит мне, что надо готовить специальную яму под каждое дерево, с дренажом. Я, зная, что такое реальный дренаж, удивился. Думаю, какой ещё дренаж под деревьями. Слишком сложно. Попросил показать, что конкретно подразумевается под дренажём.

Она мне прислала несколько ссылок, в том числе на видео, где люди копают ямы, сыпят на дно песок, потом щебень, поверх сажают дерево и называют это дренажом. По факту полная ерунда. Вода никуда не отводится, работы очень много, яма по факту большая, примет воды ещё больше, чем обычная без всяких дренажей. Спросила LLM - а та ей то же самое выдала, что и в этих статьях. Я перепроверил в ChatGPT - то же самое. Они на них научились и считают это правдой. Куча сеошников наклепали ерундовых статеек, переписав один и тот же бред друг у друга, всё это разлетелось по интернету и стало истиной для LLM.

Потом уже получилось найти скучную статью какого-то академика, который в том числе упоминает такой тип дренажа для посадок, но для какой-то специфичной и нечастой ситуации с почвами. Там в этом будет смысл. А в большинстве случаев это бессмысленная и даже вредная работа, особенно у нас в Подмосковье на преимущественно глиняных грунтах. Нужно трубу для отвода воды прокладывать, иначе это не дренаж, а яма, собирающая воду, которую по задумке должна наоборот отводить её от корней дерева.

Подобный пример я слышал от программиста, который решил с нуля сделать проект на Go, начав изучение ии-агентов. Первое его впечатление от кода было, как-будто там собраны все типовые ошибки новичков. Без явных указаний и правок LLM выдала средний уровень материала в интернете. И он оказался очень низкого уровня.

К чему я это написал? Если исследуете какую-то новую тему, в которой сами не разбираетесь, то очень внимательно относитесь к результатам. Всё надо тщательно проверять. Трудности добавляет то, что есть темы, где такого информационного мусора нет и ответы реально релевантные. Например, по ремонту машины я лично ерунды не замечал. Там нет этих массовых бредостатей. А вот если по теме прошлись сеошники и наклепали кучи однотипных статей, то не понятно, как искать правду с LLM.

Ну и в завершении могу порекомендовать повесть Айзека Азимова - Профессия. Я давно читал, ещё в юности. Сюжет почему-то запомнился, хотя многое прочитанное из того периода уже забылось. Там как раз обыгрывается эта тема. Технологии позволяют каждому сразу в мозг прошить необходимые ему знания, чтобы он работал в какой-то профессии. Но если всех так обучать, то кто же будет развитием заниматься? Там этот вопрос решили.

Машинное образование при всех его достоинствах лишает человека творческого подхода к профессии, заглушает способность самостоятельно мыслить и совершенствоваться.

#ai