26.05.2026 16:18
🧠 ArtifactLinker: ИИ ищет скрытые рекорды среди LLM AI2 опубликовал систему ArtifactLinker, которая предсказывает, каки
🧠 ArtifactLinker: ИИ ищет скрытые рекорды среди LLM
AI2 опубликовал систему ArtifactLinker, которая предсказывает, какие модели на HuggingFace могут установить новый SOTA-рекорд на конкретных бенчмарках. Идея в том, что большинство моделей тестируются лишь на малой части бенчмарков — многие LLM никогда не проверялись на задачах, где могли бы показать лучший результат.
Как это работает:
Первый этап — графовая нейросеть ранжирует неоценённые пары «модель-бенчмарк» по вероятности достичь рекорда. AI2 утверждает, что этот подход превосходит методы на основе обычного промптинга LLM.
Второй этап — LLM-агент, способный писать и исполнять код, проводит реальную оценку отобранных пар. Промежуточные результаты сохраняются в общей памяти для последующих запусков. Точность воспроизведения метрик — 80% в 72,6% случаев.
Интересное наблюдение: более свежие LLM (например, Gemma) нередко уступают значительно более старой архитектуре DeBERTa на задачах распознавания логических отношений между утверждениями.
Вместе с кодом опубликован ArtifactBench — гетерогенный граф из 14 000 объектов HuggingFace (модели, датасеты, статьи, репозитории) и 51 000 связей между ними, включая результаты оценок и эпизоды дообучения. Лицензия — Apache 2.0.
🧠 Нейросети и Технологии. Подписаться
AI2 опубликовал систему ArtifactLinker, которая предсказывает, какие модели на HuggingFace могут установить новый SOTA-рекорд на конкретных бенчмарках. Идея в том, что большинство моделей тестируются лишь на малой части бенчмарков — многие LLM никогда не проверялись на задачах, где могли бы показать лучший результат.
Как это работает:
Первый этап — графовая нейросеть ранжирует неоценённые пары «модель-бенчмарк» по вероятности достичь рекорда. AI2 утверждает, что этот подход превосходит методы на основе обычного промптинга LLM.
Второй этап — LLM-агент, способный писать и исполнять код, проводит реальную оценку отобранных пар. Промежуточные результаты сохраняются в общей памяти для последующих запусков. Точность воспроизведения метрик — 80% в 72,6% случаев.
Интересное наблюдение: более свежие LLM (например, Gemma) нередко уступают значительно более старой архитектуре DeBERTa на задачах распознавания логических отношений между утверждениями.
Вместе с кодом опубликован ArtifactBench — гетерогенный граф из 14 000 объектов HuggingFace (модели, датасеты, статьи, репозитории) и 51 000 связей между ними, включая результаты оценок и эпизоды дообучения. Лицензия — Apache 2.0.
🧠 Нейросети и Технологии. Подписаться