17.07.2026 16:22
Манипуляционно-наративный контроль ИИ Если мы не можем проверить, на чём обучалась модель, мы не должны доверять её рез
Манипуляционно-наративный контроль ИИ
Если мы не можем проверить, на чём обучалась модель, мы не должны доверять её результатам там, где важна точность.
Пентагон совершенствуется в обнаружении дипфейков. Программа семантической криминалистики DARPA, контракт на создание прототипа системы выявления дипфейков с компанией Hive, заключенный подразделением оборонных инноваций, и растущий набор инструментов обнаружения указывают на одно и то же. Министерство обороны решило, что борьба с дезинформацией — это проблема обнаружения дипфейков.
Но есть нюанс. Инструменты обнаружения, финансируемые Министерством обороны, были созданы для мира, где противники создают поддельные изображения, видео и аудио, а затем пытаются выдать их за настоящие. Такой мир существует. Противники отравляют модели ИИ, на которые полагаются аналитики Министерства обороны, разведывательные платформы и политики, чтобы отличать подлинное от поддельного.
В этом и заключается разрыв. Пентагон строит более совершенную мышеловку, в то время как мыши переписывают чертежи дома.
Инструменты обнаружения выявляют синтетический контент, то есть изображения, видео или аудио, созданные искусственным интеллектом, уже после их создания. Они ничего не делают с моделями, которые были незаметно обучены отдавать предпочтение определенным нарративам, преуменьшать определенные конфликты или опускать факты, которые государственный субъект предпочел бы, чтобы мир забыл.
Когда военный аналитик просит ИИ-помощника обобщить события в Южно-Китайском море или проанализировать спутниковые снимки с Ближнего Востока, ответ может быть уже сформирован операцией влияния противника. Ни один детектор дипфейков этого не обнаруживает.
https://t.me/budni_manipulyatora/5141 - цинк
Именно поэтому со временем мы придем к ситуации, когда каждая страна в контролируемом сегементе сети будет заниматься протекционизмом в отношении своих нейросетевых моделей и пессимизировать/блокировать работу иностранных нейросетевых моделей (в первую очередь из враждебных стран), так как это готовые инструменты манипуляции, влияния и контроля нарративов. Точно также как на определенном этапе эту роль "верификации фактов" играла Википедия. "Это же в Википедии написано" говорили разные деятели по поводу и без. Теперь же будут встречаться альтернативно-одаренные граждане, которые будут априорно воспринимать то, что выдает та или иная нейросетевая модель без критической оценки того, что она выдает. Отличная глина для пропагандистских компаний влияния и социальной инженерии современных когнитивных войн.
Если мы не можем проверить, на чём обучалась модель, мы не должны доверять её результатам там, где важна точность.
Пентагон совершенствуется в обнаружении дипфейков. Программа семантической криминалистики DARPA, контракт на создание прототипа системы выявления дипфейков с компанией Hive, заключенный подразделением оборонных инноваций, и растущий набор инструментов обнаружения указывают на одно и то же. Министерство обороны решило, что борьба с дезинформацией — это проблема обнаружения дипфейков.
Но есть нюанс. Инструменты обнаружения, финансируемые Министерством обороны, были созданы для мира, где противники создают поддельные изображения, видео и аудио, а затем пытаются выдать их за настоящие. Такой мир существует. Противники отравляют модели ИИ, на которые полагаются аналитики Министерства обороны, разведывательные платформы и политики, чтобы отличать подлинное от поддельного.
В этом и заключается разрыв. Пентагон строит более совершенную мышеловку, в то время как мыши переписывают чертежи дома.
Инструменты обнаружения выявляют синтетический контент, то есть изображения, видео или аудио, созданные искусственным интеллектом, уже после их создания. Они ничего не делают с моделями, которые были незаметно обучены отдавать предпочтение определенным нарративам, преуменьшать определенные конфликты или опускать факты, которые государственный субъект предпочел бы, чтобы мир забыл.
Когда военный аналитик просит ИИ-помощника обобщить события в Южно-Китайском море или проанализировать спутниковые снимки с Ближнего Востока, ответ может быть уже сформирован операцией влияния противника. Ни один детектор дипфейков этого не обнаруживает.
https://t.me/budni_manipulyatora/5141 - цинк
Именно поэтому со временем мы придем к ситуации, когда каждая страна в контролируемом сегементе сети будет заниматься протекционизмом в отношении своих нейросетевых моделей и пессимизировать/блокировать работу иностранных нейросетевых моделей (в первую очередь из враждебных стран), так как это готовые инструменты манипуляции, влияния и контроля нарративов. Точно также как на определенном этапе эту роль "верификации фактов" играла Википедия. "Это же в Википедии написано" говорили разные деятели по поводу и без. Теперь же будут встречаться альтернативно-одаренные граждане, которые будут априорно воспринимать то, что выдает та или иная нейросетевая модель без критической оценки того, что она выдает. Отличная глина для пропагандистских компаний влияния и социальной инженерии современных когнитивных войн.