05.04.2026 21:14
🤖 PrismAudio: новая архитектура для генерации звука по видео Лаборатория Tongyi (Qwen) представила фреймворк PrismAudio
🤖 PrismAudio: новая архитектура для генерации звука по видео
Лаборатория Tongyi (Qwen) представила фреймворк PrismAudio для задачи Video-to-Audio. Модель разделяет генерацию звука на 4 перцептивных измерения с отдельными модулями рассуждений:
Semantic CoT определяет звуковые события по видеоряду
Temporal CoT выстраивает последовательность и синхронизацию
Aesthetic CoT отвечает за естественность и качество звука
Spatial CoT позиционирует звук в стереопанораме
Каждому модулю соответствует своя reward-функция: MS-CLAP от Microsoft для семантики, Synchformer для темпоральной синхронизации, Audiobox Aesthetics для эстетики, StereoCRW для пространственной точности.
Технические особенности:
Для RL-обучения используется Fast-GRPO - модификация, применяющая SDE-сэмплирование только в случайном окне шагов, а остальную траекторию проходит детерминированно через ODE. Это сокращает обучение с 600 до 200 шагов при более высоких итоговых показателях.
Результаты тестов:
На VGGSound: CLAP 0,47 (против 0,43 у ThinkSound), DeSync 0,41 (против 0,55), ошибка позиционирования CRW снижена с 13,47 до 7,72.
На AudioCanvas: PrismAudio удерживает темпоральную метрику 0,36, в то время как ThinkSound деградирует до 0,80.
Производительность:
Время инференса - 0,63 секунды на 9-секундный фрагмент (без учета извлечения признаков). Однако извлечение признаков для 10-секундного видео требует около 43 ГБ видеопамяти.
Лицензия: MIT License.
🧠 Нейросети и Технологии. Подписаться
Лаборатория Tongyi (Qwen) представила фреймворк PrismAudio для задачи Video-to-Audio. Модель разделяет генерацию звука на 4 перцептивных измерения с отдельными модулями рассуждений:
Semantic CoT определяет звуковые события по видеоряду
Temporal CoT выстраивает последовательность и синхронизацию
Aesthetic CoT отвечает за естественность и качество звука
Spatial CoT позиционирует звук в стереопанораме
Каждому модулю соответствует своя reward-функция: MS-CLAP от Microsoft для семантики, Synchformer для темпоральной синхронизации, Audiobox Aesthetics для эстетики, StereoCRW для пространственной точности.
Технические особенности:
Для RL-обучения используется Fast-GRPO - модификация, применяющая SDE-сэмплирование только в случайном окне шагов, а остальную траекторию проходит детерминированно через ODE. Это сокращает обучение с 600 до 200 шагов при более высоких итоговых показателях.
Результаты тестов:
На VGGSound: CLAP 0,47 (против 0,43 у ThinkSound), DeSync 0,41 (против 0,55), ошибка позиционирования CRW снижена с 13,47 до 7,72.
На AudioCanvas: PrismAudio удерживает темпоральную метрику 0,36, в то время как ThinkSound деградирует до 0,80.
Производительность:
Время инференса - 0,63 секунды на 9-секундный фрагмент (без учета извлечения признаков). Однако извлечение признаков для 10-секундного видео требует около 43 ГБ видеопамяти.
Лицензия: MIT License.
🧠 Нейросети и Технологии. Подписаться