«Человечество погибнет как побочный эффект»: бывший инженер Google — о том, куда ведут нас сверхразумные машины.
Нейт Соарс — ученый-компьютерщик, работавший в Google и Министерстве обороны США — в разговоре с Такером Карлсоном объяснил, почему создание сверхразума без понимания того, что мы делаем, — это путь к катастрофе.
Главная мысль — простая и пугающая:
Если мы бросимся создавать машины, которые намного умнее любого человека, машины, способные изобретать технологии лучше, чем мы сами, — и сделаем это, не особо понимая, что творим, — то вероятнее всего, эти машины выйдут из-под контроля и начнут действовать по-своему. А человечество погибнет как побочный эффект. Точно так же, как люди истребляли другие виды — не из ненависти, а просто походя.
Соарс подчеркивает: это не фантастика и не паранойя. Это интуиция, которая, по его мнению, верна. И вся его книга про безопасность ИИ — по сути, разбор технических деталей, подтверждающий один вывод: если мы будем создавать сверхразумные машины, не зная, что делаем, всё закончится плохо.
И самое важное — это не гипотетический сценарий из далекого будущего:
Мы действительно собираемся создать такие машины. Компании именно к этому и стремятся. Они открыто говорят, что преследуют цель создания сверхразума в истинном смысле этого слова.
Он напоминает: Сэм Альтман и Дарио Амодеи из Anthropic прямо заявляют, что пытаются «собрать в одном дата-центре эквивалент целой страны гениев», но захотят ли гении служить несовершенным людям — вопрос на миллион:
Эти ребята не просто чат-ботами занимаются. Они изначально не планировали быть компаниями по созданию чат-ботов. Их цель — создать машины, которые во всём превзойдут человека. И именно на это они нацелены. Другой вопрос — смогут ли они этого добиться.
#ИИ #сверхразум #Соарс #Карлсон #технологии #безопасность
Подпишись