27.05.2026 09:51
🧠 MiniMax представила Sparse Attention для M3 На 1M токенов компания обещает 9.7x ускорение префилла и 15.6x на декоде
🧠 MiniMax представила Sparse Attention для M3
На 1M токенов компания обещает 9.7x ускорение префилла и 15.6x на декоде по сравнению с M2. Ещё в марте лид по претрейну писал, что для M2 пришлось откатиться на full attention — эффективные варианты не были готовы к проду. Спустя полгода всё готово.
Как это работает
Схема двухстадийная:
- Index-ветка (лёгкая) выбирает релевантные блоки KV
- Sparse attention считается только по ним, а не по всему контексту
Это радикально меняет экономику инференса: дешёвый 1M‑контекст в опенсорсе открывает другой режим работы с длинным контекстом для агентов.
Ждём техрепорт и замеры качества. Главное — всё это в опенсорсе.
🧠 Нейросети и Технологии. Подписаться
На 1M токенов компания обещает 9.7x ускорение префилла и 15.6x на декоде по сравнению с M2. Ещё в марте лид по претрейну писал, что для M2 пришлось откатиться на full attention — эффективные варианты не были готовы к проду. Спустя полгода всё готово.
Как это работает
Схема двухстадийная:
- Index-ветка (лёгкая) выбирает релевантные блоки KV
- Sparse attention считается только по ним, а не по всему контексту
Это радикально меняет экономику инференса: дешёвый 1M‑контекст в опенсорсе открывает другой режим работы с длинным контекстом для агентов.
Ждём техрепорт и замеры качества. Главное — всё это в опенсорсе.
🧠 Нейросети и Технологии. Подписаться