21.03.2026 13:36
NVIDIA Nemotron-Cascade 2: 30B MoE и золото на олимпиадах
🌟 NVIDIA Nemotron-Cascade 2: MoE на 30B параметров и золото на математических олимпиадах.
Nemotron-Cascade 2 (https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B)
- вторая в мире открытая языковая модель, получившая золотую медаль сразу на 3 соревнованиях 2025 года: IMO, IOI и финале ICPC.
До нее это удавалось только DeepSeek-V3.2-Speciale, модели с 671B параметров и 37B активных. У Nemotron-Cascade 2 параметров в 20 раз меньше: 30B общих, 3B активных.
🟠На IMO 2025 модель решила 5 задач из 6 и набрала 35 из 42 баллов.
🟠На IOI - 439 из 600, что соответствует золоту.
🟠На ICPC World Finals 10 задач из 12, это 4 место в золотой зоне. При этом 8 задач ICPC были решены менее чем за 100 попыток.
🟡Архитектура
MoExperts на базе Nemotron-3-Nano-30B-A3B-Base. Отличие от первой версии - расширенный Cascade RL, где обучение с подкреплением проходит последовательно по доменам: сначала следование инструкциям, затем мультидоменное RL, потом дистилляция, RLHF, работа с длинным контекстом, код и, наконец, задачи программной инженерии.
🟡Multi-Domain On-Policy Distillation (MOPD)
На каждом этапе Cascade RL выбирается лучший промежуточный чекпоинт по конкретному домену и используется как учитель. Поскольку все учителя происходят от одной SFT-инициализации, они делят токенайзер и словарь, что упрощает дистилляцию.
MOPD работает на уровне отдельных токенов, а не последовательностей, и сходится быстрее, чем классический GRPO: на AIME 2025 достигает уровня учителя за 30 шагов оптимизации.
🟡Тесты
На бенчмарках модель обходит Qwen3.5-35B-A3B и более крупную Nemotron-3-Super-120B-A12B в математике, коде и следованию инструкциям.
🟢LiveCodeBench v6: 88.4 (у Qwen3.5 74.6);
🟢ArenaHard v2: 83.5 против 65.4 у Qwen3.5;
🟢IFBench: 82.9 против 70.2;
🟢На Codeforces модель набрала рейтинг 2345 с TIR (на уровне моделей с 300B+ параметров).
🟡Слабые места
Задачи, требующие глубоких знаний (MMLU-Pro, GPQA-Diamond) и агентные сценарии (BFCL v4, τ²-Bench, SWE Verified). Тут Qwen3.5 пока впереди.
NVIDIA обещает подтянуть наукоёмкий претрейн и агентный RL в следующих версиях Nemotron-Cascade.
📌Лицензирование: NVIDIA Open Model License.
🟡Модель (https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B)
🟡SFT-датасет (https://huggingface.co/datasets/nvidia/Nemotron-Cascade-2-SFT-Data)
🟡RL-данные (https://huggingface.co/datasets/nvidia/Nemotron-Cascade-2-RL-data)
🟡Техотчет (https://research.nvidia.com/labs/nemotron/files/Nemotron-Cascade-2.pdf)
#AI #ML #LLM #Nemotron #Cascade2 #NVIDIA
Nemotron-Cascade 2 (https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B)
- вторая в мире открытая языковая модель, получившая золотую медаль сразу на 3 соревнованиях 2025 года: IMO, IOI и финале ICPC.
До нее это удавалось только DeepSeek-V3.2-Speciale, модели с 671B параметров и 37B активных. У Nemotron-Cascade 2 параметров в 20 раз меньше: 30B общих, 3B активных.
🟠На IMO 2025 модель решила 5 задач из 6 и набрала 35 из 42 баллов.
🟠На IOI - 439 из 600, что соответствует золоту.
🟠На ICPC World Finals 10 задач из 12, это 4 место в золотой зоне. При этом 8 задач ICPC были решены менее чем за 100 попыток.
🟡Архитектура
MoExperts на базе Nemotron-3-Nano-30B-A3B-Base. Отличие от первой версии - расширенный Cascade RL, где обучение с подкреплением проходит последовательно по доменам: сначала следование инструкциям, затем мультидоменное RL, потом дистилляция, RLHF, работа с длинным контекстом, код и, наконец, задачи программной инженерии.
🟡Multi-Domain On-Policy Distillation (MOPD)
На каждом этапе Cascade RL выбирается лучший промежуточный чекпоинт по конкретному домену и используется как учитель. Поскольку все учителя происходят от одной SFT-инициализации, они делят токенайзер и словарь, что упрощает дистилляцию.
MOPD работает на уровне отдельных токенов, а не последовательностей, и сходится быстрее, чем классический GRPO: на AIME 2025 достигает уровня учителя за 30 шагов оптимизации.
🟡Тесты
На бенчмарках модель обходит Qwen3.5-35B-A3B и более крупную Nemotron-3-Super-120B-A12B в математике, коде и следованию инструкциям.
🟢LiveCodeBench v6: 88.4 (у Qwen3.5 74.6);
🟢ArenaHard v2: 83.5 против 65.4 у Qwen3.5;
🟢IFBench: 82.9 против 70.2;
🟢На Codeforces модель набрала рейтинг 2345 с TIR (на уровне моделей с 300B+ параметров).
🟡Слабые места
Задачи, требующие глубоких знаний (MMLU-Pro, GPQA-Diamond) и агентные сценарии (BFCL v4, τ²-Bench, SWE Verified). Тут Qwen3.5 пока впереди.
NVIDIA обещает подтянуть наукоёмкий претрейн и агентный RL в следующих версиях Nemotron-Cascade.
📌Лицензирование: NVIDIA Open Model License.
🟡Модель (https://huggingface.co/nvidia/Nemotron-Cascade-2-30B-A3B)
🟡SFT-датасет (https://huggingface.co/datasets/nvidia/Nemotron-Cascade-2-SFT-Data)
🟡RL-данные (https://huggingface.co/datasets/nvidia/Nemotron-Cascade-2-RL-data)
🟡Техотчет (https://research.nvidia.com/labs/nemotron/files/Nemotron-Cascade-2.pdf)
#AI #ML #LLM #Nemotron #Cascade2 #NVIDIA