16.04.2026 11:14
🤖 NVIDIA выпустила Lyra 2.
🤖 NVIDIA выпустила Lyra 2.0: 3D-миры из одной фотографии
NVIDIA опубликовала веса и код Lyra 2.0 - системы, которая принимает изображение, генерирует видео с управляемой траекторией камеры, а затем реконструирует его в 3D-гауссианы и полигональные меши. Готовые ассеты можно напрямую импортировать в игровые движки и робототехнические симуляторы.
Простое объяснение: Lyra 2.0 создаёт полноценные 3D-миры всего по одной фотографии. Система сначала генерирует видео с пролётом камеры, а затем преобразует его в 3D-объекты, которые можно использовать в играх и симуляторах.
Технические детали: Базовая модель построена на архитектуре Wan 2.1-14B с разрешением 832×480. Для 3D-реконструкции используется дообученная Depth Anything v3, а меши извлекаются через иерархический подход на основе OpenVDB. Главная инновация - сохранение согласованности сцены при длительном пролёте камеры через кэширование 3D-геометрии каждого кадра.
Результаты: На бенчмарках DL3DV и Tanks and Temples Lyra 2.0 превзошла все аналоги (GEN3C, CaM, SPMem, VMem, Yume-1.5 и HY-WorldPlay) по метрикам FID, SSIM, LPIPS, субъективному качеству и стилистической согласованности.
🧠 Нейросети и Технологии. Подписаться
NVIDIA опубликовала веса и код Lyra 2.0 - системы, которая принимает изображение, генерирует видео с управляемой траекторией камеры, а затем реконструирует его в 3D-гауссианы и полигональные меши. Готовые ассеты можно напрямую импортировать в игровые движки и робототехнические симуляторы.
Простое объяснение: Lyra 2.0 создаёт полноценные 3D-миры всего по одной фотографии. Система сначала генерирует видео с пролётом камеры, а затем преобразует его в 3D-объекты, которые можно использовать в играх и симуляторах.
Технические детали: Базовая модель построена на архитектуре Wan 2.1-14B с разрешением 832×480. Для 3D-реконструкции используется дообученная Depth Anything v3, а меши извлекаются через иерархический подход на основе OpenVDB. Главная инновация - сохранение согласованности сцены при длительном пролёте камеры через кэширование 3D-геометрии каждого кадра.
Результаты: На бенчмарках DL3DV и Tanks and Temples Lyra 2.0 превзошла все аналоги (GEN3C, CaM, SPMem, VMem, Yume-1.5 и HY-WorldPlay) по метрикам FID, SSIM, LPIPS, субъективному качеству и стилистической согласованности.
🧠 Нейросети и Технологии. Подписаться