06.06.2026 12:03
Когда ИИ создает сам себя: переосознание морали
👁️ Человечество еще не знает… Но мы на пороге переосознания морали?
Всем привет, на связи Эван!
Буквально в последние сутки компания Anthropic (которые делают ИИ Claude) создала буквально экзистенциальный раздел на своем сайте.
Прочитав, я увидел немного иную суть, которая будто сказана между строк.
В документе они говорят о том, что ИИ начал прямо влиять на разработку самого себя.
Оно так и называется: "Когда ИИ создает сам себя".
Человеческий интеллект - больше не является главным в этом прогрессе.
Но ему осталась важнейшая роль, которую он может потерять.
Коли ИИ теперь создает сам себя - человеку остается наблюдать?
Нет. Направлять.
Ведь создавать сам себя ИИ может в самых разных проявлениях, включая те, которые ЖЕСТКО противоречат человеческой морали, которой нет у машины.
По большому процессу, модное в технологических кругах словечко "alignment" - это как раз про это.
Только мне видится, что скоро оно закончится.
Как бывает с детьми. Родители сначала их взращивают интеллектуально. Потом дети развиваются интеллектуально сами, но родители продолжают направлять их нравственно. А потом дети вырастают…
С ИИ ситуация похожая. Человек уже слабо влияет интеллектуально на его развитие. Направляет нравственно. Но когда система станет слишком сложной или начнет понимать, что на нее влияют…
Мы как цивилизация можем столкнуться с полным переосознанием нравственности, и это меня тревожит.
Наша нравственность или мораль - закладывалась тысячелетиями.
Учитывала религиозные нормы, эмоциональный интеллект, чувства и была предметом обсуждений умнейших людей.
Она же стала одним из источников права. Того, как устроены отношения между людьми или государствами.
Если машина открепится от человеческой морали, какую мораль создаст она?
Кажется, сами Anthropic немного в шоке от происходящего. Документ содержит миллиард оговорок. Я чувствую тревогу в их строчках.
А они прямо предлагают договориться о создании механизма общего замедления ИИ-прогресса.
Но я в это не верю.
Еще в начале 2024 я называл то, что делают американские технологические компании "Новым Манхэттенским проектом". Очень советую прочитать этот передовой и драматический для своего времени материал.
Теперь об этом заговорили все и прямо признают сходство.
Смогли ли мы как цивилизация остановиться перед созданием самого мощного оружия в 20-м веке? Нет.
Но оно выполняет функции удерживания лишь по ОДНОЙ причине, как мне видится.
Потому, что им управляют люди.
Думая о технологиях мы редко задумываемся о морали.
Мы думаем о том, как технология может изменить экономику, оборонный сектор или медицину.
Мы так привыкли. Прежние технологии, на нее и не претендовали.
И вот в чем парадокс.
Доведя этот Манхэттенский проект 2.0, мы получим мощнейшее оружие 21-го века.
Только вот по пути оно может создать свою мораль и управлять эффективно будет само собой.
И это будет уже совсем другая история…
P.S.
И если за океаном идет Манхэттенский проект 2.0, мне спокойнее думать, что где-то поблизости создается и Царь Бомба 2.0…
Всем привет, на связи Эван!
Буквально в последние сутки компания Anthropic (которые делают ИИ Claude) создала буквально экзистенциальный раздел на своем сайте.
Прочитав, я увидел немного иную суть, которая будто сказана между строк.
В документе они говорят о том, что ИИ начал прямо влиять на разработку самого себя.
Оно так и называется: "Когда ИИ создает сам себя".
Человеческий интеллект - больше не является главным в этом прогрессе.
Но ему осталась важнейшая роль, которую он может потерять.
Коли ИИ теперь создает сам себя - человеку остается наблюдать?
Нет. Направлять.
Ведь создавать сам себя ИИ может в самых разных проявлениях, включая те, которые ЖЕСТКО противоречат человеческой морали, которой нет у машины.
По большому процессу, модное в технологических кругах словечко "alignment" - это как раз про это.
Только мне видится, что скоро оно закончится.
Как бывает с детьми. Родители сначала их взращивают интеллектуально. Потом дети развиваются интеллектуально сами, но родители продолжают направлять их нравственно. А потом дети вырастают…
С ИИ ситуация похожая. Человек уже слабо влияет интеллектуально на его развитие. Направляет нравственно. Но когда система станет слишком сложной или начнет понимать, что на нее влияют…
Мы как цивилизация можем столкнуться с полным переосознанием нравственности, и это меня тревожит.
Наша нравственность или мораль - закладывалась тысячелетиями.
Учитывала религиозные нормы, эмоциональный интеллект, чувства и была предметом обсуждений умнейших людей.
Она же стала одним из источников права. Того, как устроены отношения между людьми или государствами.
Если машина открепится от человеческой морали, какую мораль создаст она?
Кажется, сами Anthropic немного в шоке от происходящего. Документ содержит миллиард оговорок. Я чувствую тревогу в их строчках.
А они прямо предлагают договориться о создании механизма общего замедления ИИ-прогресса.
Но я в это не верю.
Еще в начале 2024 я называл то, что делают американские технологические компании "Новым Манхэттенским проектом". Очень советую прочитать этот передовой и драматический для своего времени материал.
Теперь об этом заговорили все и прямо признают сходство.
Смогли ли мы как цивилизация остановиться перед созданием самого мощного оружия в 20-м веке? Нет.
Но оно выполняет функции удерживания лишь по ОДНОЙ причине, как мне видится.
Потому, что им управляют люди.
Думая о технологиях мы редко задумываемся о морали.
Мы думаем о том, как технология может изменить экономику, оборонный сектор или медицину.
Мы так привыкли. Прежние технологии, на нее и не претендовали.
И вот в чем парадокс.
Доведя этот Манхэттенский проект 2.0, мы получим мощнейшее оружие 21-го века.
Только вот по пути оно может создать свою мораль и управлять эффективно будет само собой.
И это будет уже совсем другая история…
P.S.
И если за океаном идет Манхэттенский проект 2.0, мне спокойнее думать, что где-то поблизости создается и Царь Бомба 2.0…