🤯 ОНИ ДОБРАЛИСЬ ДО РОССИИ Да-да, это те самые диффузионные языковые модели (dLLM), которые тестируют крупнейшие технок
Да-да, это те самые диффузионные языковые модели (dLLM), которые тестируют крупнейшие технокорпорации. А мы уже выложили свою в Open Source! Встречайте GFusion на основе GigaChat, которую придумал стажёр-инженер Даниил Тихонов.
Если LLM работает по принципу авторегрессии и генерирует текст слово за словом, то dLLM сначала создаёт ответ целиком, а затем дорабатывает результат. Это даёт модели качественное преимущество:
👉🏻 Быстрее благодаря параллельным вычислениям
👉🏻 Лучше структурирует ответы и может самостоятельно выбирать порядок генерации текста
👉🏻 Эффективнее учится на данных
Подробнее про технологию можно прочитать в статье и телеграм-канале GigaDev. А модель и методы её обучения уже в открытом доступе на GitVerse и Hugging Face:
👉🏻 GFusion-10B-A1.8B
👉🏻 GFusion-10B-A1.8B-base