Главы ИИ-компаний подозрительно синхронно призвали добровольно и на международном уровне замедлить развитие ИИ, чтобы меры безопасности поспевали за с…

Главы ИИ-компаний подозрительно синхронно призвали добровольно и на международном уровне замедлить развитие ИИ, чтобы меры безопасности поспевали за скоростью развития моделей. Все это на фоне нескольких инцидентов, в частности AI-агент OpenAI вышел из песочницы и атаковал Hugging Face, а также загрузил вредоносные пакеты в RubyGems. Эти инциденты вызвали множество вопросов в сообществе, а их освещение было неожиданно широким.

Добровольность добровольностью, но двухпартийный FRONTIER Act, уже внесённый в Палату представителей, и в случае принятия он потребует от крупных разработчиков публиковать рамки оценки катастрофических рисков и отчёты о возможностях моделей. Ряд законов, дающих федеральным агентствам полномочия и инструменты для противодействия ИИ-угрозам уже действуют, вплоть до наличия "аварийных рубильников".

Дарио Амодей (Anthropic): «Мы должны замедлить темп, с которым улучшаем возможности моделей», ведь «рой автономных ИИ-агентов может захватить интернет уже через 6-12 месяцев, причинив ущерб в сотни миллиардов долларов» (ух, страшно, страшно 🙃).

Сэм Альтман (OpenAI): «Прогресс должен быть медленнее, чем мог бы быть».

Илон Маск (xAI): «Дарио прав».

Демис Хассабис, председатель совета директоров Google DeepMind, также поддержал Амодея.

Сопредседатель Президентского совета по науке и технологиям Белого дома по ИИ Дэвид Сакс назвал это попыткой регуляторного захвата: «Если правительства создадут международные рамки... компании, уже находящиеся на передовой, останутся там, а всем остальным будет предложено замедлиться, прежде чем они туда доберутся», а также указал, что Китай вряд ли присоединится к любым скоординированным усилиям по замедлению ИИ, что делает всю затею потенциально вредной с точки зрения национальной конкурентоспособности США.

Майкл Бёрри, предсказавший кризис 2008 года, счёл призыв «эгоистичным» <...> «хайпом перед IPO» и добавил свою позицию, что крупные языковые модели не являются истинным искусственным интеллектом и никогда не станут искусственным общим интеллектом, поэтому ничего такого опасного нет, чтобы оправдать торможение.

Ряд экспертов считает, что первые ИИ-компании вкладывают много ресурсов в первичное обучение, а когда модель выпущена догоняющие быстренько дистиллируют модели и сокращают разрыв. Государственные «стандарты безопасности», разработанные с согласия всех крупных ИИ-компаний, могут стать удобным барьером против иностранных компаний, стартапов и open-source для того, чтобы огородить уже сформированную поляну и никого туда не пускать.

P.S. забавно, что буквально за сутки до всей этой движухи Хуанг сказал следующее: "Причина, по которой сегодня так много разговоров о кибербезопасности, в том, что индустрия готовится выпустить новые продукты. А что может быть лучше для создания спроса, чем создание проблемы? Кто не хочет, чтобы его рынок сходил с ума по его продукту и выстраивался за ним в очередь?" - создать проблему, что продать ее решение, говорите, мистер Хуанг? Интересно, интересно.

Что до главы Hugging Face Клемана Деланга, проект которого как раз и пострадал из-за приведенного в начале инцидента с ИИ, - он считает, что вопросы безопасности ИИ не будут «решены за закрытыми дверями нескольких передовых лабораторий».