🤖 Boxer: новая модель от Reality Labs для перевода 2D-детекций в 3D Meta Reality Labs представила Boxer — модель для по
Meta Reality Labs представила Boxer — модель для подъема 2D-детекций в 3D с фокусом на indoor-сценариях. В отличие от WildDet3D от Института Аллена, Boxer работает с видеопоследовательностями и дает согласованные 3D-боксы на уровне всей сцены.
Техническая архитектура:
1. OWLv2 детектирует объекты в кадре
2. BoxerNet с DINOv3 через кросс-внимание поднимает 2D-рамки в 3D, используя параметры камеры, гравитацию и глубину
3. Детекции между кадрами сливаются офлайн или трекаются онлайн
Особенности: Требует 6-DoF позы кадров, калибровку и направление гравитации. Поставляется только как inference-решение без кода обучения. Поддерживает macOS и Linux, Windows не поддерживается.
Датасеты: Project Aria (Gen 1/2), CA-1M, SUN-RGBD, ScanNet.
🧠 Нейросети и Технологии. Подписаться