20.05.2026 15:02
🧠 TST: предобучение LLM в 2–3 раза быстрее Nous Research представила метод Token Superposition Training (TST), который
🧠 TST: предобучение LLM в 2–3 раза быстрее
Nous Research представила метод Token Superposition Training (TST), который ускоряет предобучение больших языковых моделей в 2–3 раза по реальному времени без увеличения объёма вычислений.
Как это работает
Первые 20–40% обучения модель обрабатывает не отдельные токены, а батчи из нескольких подряд идущих токенов. Их векторные представления усредняются на входе, а на выходе применяется модифицированная функция потерь. Внутри батча порядок токенов отбрасывается — модель учится предсказывать только то, какие токены вообще встречаются, а не их конкретную позицию.
Ключевые параметры
Размер батча растёт вместе с моделью:
- 270 млн параметров → 3–8 токенов
- 10 млрд параметров → 16 токенов
Оставшуюся часть обучения модель дообучается в обычном режиме next-token prediction. Архитектура, оптимизатор, токенизатор и набор данных не меняются.
Результаты тестов
Метод протестировали на моделях 270M, 600M, 3B (dense) и 10B (MoE). В крупнейшем эксперименте TST-модель достигла более низкого лосса за ~40% времени и показала лучшие результаты на HellaSwag, ARC и MMLU.
Ограничение
TST быстрее расходует обучающие данные. Если данных мало, метод становится контрпродуктивным.
🧠 Нейросети и Технологии. Подписаться
Nous Research представила метод Token Superposition Training (TST), который ускоряет предобучение больших языковых моделей в 2–3 раза по реальному времени без увеличения объёма вычислений.
Как это работает
Первые 20–40% обучения модель обрабатывает не отдельные токены, а батчи из нескольких подряд идущих токенов. Их векторные представления усредняются на входе, а на выходе применяется модифицированная функция потерь. Внутри батча порядок токенов отбрасывается — модель учится предсказывать только то, какие токены вообще встречаются, а не их конкретную позицию.
Ключевые параметры
Размер батча растёт вместе с моделью:
- 270 млн параметров → 3–8 токенов
- 10 млрд параметров → 16 токенов
Оставшуюся часть обучения модель дообучается в обычном режиме next-token prediction. Архитектура, оптимизатор, токенизатор и набор данных не меняются.
Результаты тестов
Метод протестировали на моделях 270M, 600M, 3B (dense) и 10B (MoE). В крупнейшем эксперименте TST-модель достигла более низкого лосса за ~40% времени и показала лучшие результаты на HellaSwag, ARC и MMLU.
Ограничение
TST быстрее расходует обучающие данные. Если данных мало, метод становится контрпродуктивным.
🧠 Нейросети и Технологии. Подписаться