Ученые подсчитали, сколько энергии «съедает» один сложный запрос к ИИ Корейский институт передовых технологий (KAIST) с
Корейский институт передовых технологий (KAIST) сравнил энергозатраты обычных чат-ботов и ИИ-агентов — и разница оказалась колоссальной.
Обычный чат-бот отвечает за один проход: вопрос — ответ. ИИ-агент думает иначе: он разбивает задачу на шаги, запускает внешние инструменты, перепроверяет результаты.
По данным исследования, ИИ-агент тратит до 136,5 раз больше энергии на один запрос. При этом GPU простаивают до 54,5% времени, ожидая внешних инструментов. То есть серверы заняты неэффективно, но электричество продолжают потреблять. В тестах агент на базе модели с 70 млрд параметров тратил в среднем 348,41 ватт-часа на один сложный запрос — этого хватило бы, чтобы энергосберегающая лампа работала сутки.
Если масштабировать до уровня Google (13,7 млрд запросов в день), дата-центры потребуют 198,9 гигаватта — это сопоставимо примерно с половиной среднего энергопотребления США.
Авторы делают вывод: без совместной оптимизации чипов, алгоритмов и энергосетей устойчивая ИИ-инфраструктура просто невозможна.
Как думаете, стоит ли прогресс таких затрат?
Изображение: elenabsl/Shutterstock/FOTODOM