12.05.2026 13:04
🤖 Ernie 5.
🤖 Ernie 5.1: Экономия без потери качества
Baidu выпустила Ernie 5.1 — языковую модель с закрытыми весами. Затраты на претрейн составили всего 6% от типичного бюджета для моделей этого класса.
Новинка построена на базе Ernie 5.0, но содержит треть от общего числа параметров и использует вдвое меньше активных параметров при инференсе.
В Arena Search Leaderboard модель заняла 4 место в мире и 1 среди китайских сетей. В тестах агентов Ernie 5.1 обходит DeepSeek-V4-Pro, а в логике и математике сопоставима с Gemini 3.1 Pro.
Как это работает
Экономия достигнута за счет методики Once-For-All: семейство моделей обучается за один проход. Сети делят общие веса, варьируясь по глубине и количеству активных блоков MoE. Основной претрейн выполнили при Ernie 5.0, для версии 5.1 осталось извлечь оптимальную конфигурацию.
Для борьбы с эффектом качелей (падение креативности при улучшении логики) применили четырехэтапный файнтюн:
- SFT
- Параллельная тренировка узкоспециализированных экспертов
- Дистилляция их навыков в единую модель-ученика
- Финальный RL
Доступ к Ernie 5.1 открыт через онлайн-площадки Baidu.
🧠 Нейросети и Технологии. Подписаться
Baidu выпустила Ernie 5.1 — языковую модель с закрытыми весами. Затраты на претрейн составили всего 6% от типичного бюджета для моделей этого класса.
Новинка построена на базе Ernie 5.0, но содержит треть от общего числа параметров и использует вдвое меньше активных параметров при инференсе.
В Arena Search Leaderboard модель заняла 4 место в мире и 1 среди китайских сетей. В тестах агентов Ernie 5.1 обходит DeepSeek-V4-Pro, а в логике и математике сопоставима с Gemini 3.1 Pro.
Как это работает
Экономия достигнута за счет методики Once-For-All: семейство моделей обучается за один проход. Сети делят общие веса, варьируясь по глубине и количеству активных блоков MoE. Основной претрейн выполнили при Ernie 5.0, для версии 5.1 осталось извлечь оптимальную конфигурацию.
Для борьбы с эффектом качелей (падение креативности при улучшении логики) применили четырехэтапный файнтюн:
- SFT
- Параллельная тренировка узкоспециализированных экспертов
- Дистилляция их навыков в единую модель-ученика
- Финальный RL
Доступ к Ernie 5.1 открыт через онлайн-площадки Baidu.
🧠 Нейросети и Технологии. Подписаться