☝🏻Nvidia научила ИИ дорисовывать то, чего не видно на фото Исследователи Nvidia показали Axolotl3D: модель, которая соб
Исследователи Nvidia показали Axolotl3D: модель, которая собирает 3D-объект из неполных данных и сама достраивает скрытые части.🤖
Обычные генераторы 3D по картинке хотят, чтобы предмет был виден целиком. В жизни так не бывает: половину загораживает стол, часть не влезла в кадр.
Axolotl3D принимает всё, что есть:
🔻 до шести фотографий с разных ракурсов
🔻 положение камер
🔻 маски видимости, где отмечено, что именно закрыто
🔻 частичное облако точек, то есть уже известную геометрию
☝🏻Облако точек работает как якорь против галлюцинаций: известную форму модель не трогает, а придумывает только недостающее. Тем же способом можно править готовый меш: перерисовал деталь на одном фото, и объект перестроился.
Под капотом дообученная Hunyuan3D 2.1, признаки из фото вытаскивает DINOv2.
Модель учили на 407 тысячах 3D-объектов, которые специально портили: прятали части, вырезали куски и убирали ракурсы. На всё хватило восьми A100.⚡️
================
🔺 News | 🧩 Soft | 💻 Hacker