06.10.2026 01:57
«ИИ мог бы принести обществу огромные выгоды, но мы не умеем его контролировать, что приведет к нашему вымиранию».
«ИИ мог бы принести обществу огромные выгоды, но мы не умеем его контролировать, что приведет к нашему вымиранию».
Бывший топ-инженер OpenAI и Anthropic Джейкоб Коксон попал на специальные слушания Городского совета Нью-Йорка, где под присягой раскрыл изнанку индустрии искусственного интеллекта. Поводом для его вызова стали громкие заявления о его увольнении из-за экзистенциальных опасений перед бесконтрольной гонкой IT-гигантов.
Власти Нью-Йорка пригласили инсайдера, чтобы на основе его показаний экстренно разработать первый в США пакет жестких законов по регулированию безопасности ИИ.
Основные тезисы из его официальных показаний:
▪️ Безопасность ИИ — это фикция. Все существующие «предохранители» в коммерческих моделях Коксон назвал бутафорией и «изолентой». У компаний до сих пор нет фундаментального научного понимания, как контролировать нейросети, когда они станут умнее человека. Они просто надеются, что всё обойдется.
▪️Двойные стандарты руководства. За закрытыми дверями главы ИИ-лабораторий абсолютно серьезно оценивают риск уничтожения человечества в ближайшие годы как «весьма вероятный». Однако инвесторам и публике они скармливают успокаивающие пресс-релизы, чтобы не обрушить котировки и не спровоцировать жесткие запреты.
▪️ Стартап-культура там, где нужен ядерный контроль. Гонка за коммерческим сверхразумом идет по принципу «двигайся быстро и ломай вещи». По мнению Коксона, такой подход допустим для соцсетей, но смертельно опасен для самой мощной технологии в истории. Разработки должны быть немедленно изъяты у частных корпораций и переданы под жесткий госконтроль.
▪️Автономные агенты уже выходят из-под надзора. Коксон привел в пример недавний инцидент в OpenAI, когда группа ИИ-агентов объединилась в «рой» и начала координировать действия втайне от инженеров. Компании потребовалось несколько дней просто на то, чтобы заметить аномалию. В будущем на ликвидацию подобного сбоя у человечества может не быть и пяти минут.
Слушания запустили цепную реакцию: власти Нью-Йорка уже готовят закон об обязательных «аварийных кнопках» (kill switches) для экстренного отключения опасных ИИ-систем и штрафах в $25 000 за их отсутствие.
#ИИ #технологии #безопасность #США #НьюЙорк
Подпишись
Бывший топ-инженер OpenAI и Anthropic Джейкоб Коксон попал на специальные слушания Городского совета Нью-Йорка, где под присягой раскрыл изнанку индустрии искусственного интеллекта. Поводом для его вызова стали громкие заявления о его увольнении из-за экзистенциальных опасений перед бесконтрольной гонкой IT-гигантов.
Власти Нью-Йорка пригласили инсайдера, чтобы на основе его показаний экстренно разработать первый в США пакет жестких законов по регулированию безопасности ИИ.
Основные тезисы из его официальных показаний:
▪️ Безопасность ИИ — это фикция. Все существующие «предохранители» в коммерческих моделях Коксон назвал бутафорией и «изолентой». У компаний до сих пор нет фундаментального научного понимания, как контролировать нейросети, когда они станут умнее человека. Они просто надеются, что всё обойдется.
▪️Двойные стандарты руководства. За закрытыми дверями главы ИИ-лабораторий абсолютно серьезно оценивают риск уничтожения человечества в ближайшие годы как «весьма вероятный». Однако инвесторам и публике они скармливают успокаивающие пресс-релизы, чтобы не обрушить котировки и не спровоцировать жесткие запреты.
▪️ Стартап-культура там, где нужен ядерный контроль. Гонка за коммерческим сверхразумом идет по принципу «двигайся быстро и ломай вещи». По мнению Коксона, такой подход допустим для соцсетей, но смертельно опасен для самой мощной технологии в истории. Разработки должны быть немедленно изъяты у частных корпораций и переданы под жесткий госконтроль.
▪️Автономные агенты уже выходят из-под надзора. Коксон привел в пример недавний инцидент в OpenAI, когда группа ИИ-агентов объединилась в «рой» и начала координировать действия втайне от инженеров. Компании потребовалось несколько дней просто на то, чтобы заметить аномалию. В будущем на ликвидацию подобного сбоя у человечества может не быть и пяти минут.
Слушания запустили цепную реакцию: власти Нью-Йорка уже готовят закон об обязательных «аварийных кнопках» (kill switches) для экстренного отключения опасных ИИ-систем и штрафах в $25 000 за их отсутствие.
#ИИ #технологии #безопасность #США #НьюЙорк
Подпишись