vggt

VGGT 刚拿下 CVPR 2025 最佳论文，14000 多颗星，直接把 3D 视觉的门槛砸了个大洞。过去要从照片里重建三维场景，得走特征匹配、三角测量、全局优化那一整套传统流程，又慢又容易崩。VGGT 用纯 Transformer 端到端搞定这件事——给它一张或多张图片，它直接输出每张图对应的相机姿态、深度图，甚至还能生成带纹理的 3D 点云，整个推理过程只需要一次前向传播，不需要常见的后处理或优化。也就是说，原来要跑几分钟甚至更久的几何重建，现在批处理一两秒就出结果，精度还媲美甚至超越传统方法。 技术上的核心创新在于“视觉几何感知”。VGGT 的架构特意设计了全局上下文交互，让模型内部隐式理解三维空间中的几何约束，比如极线几何、尺度一致性。它不是在图像上画框做分类，而是在像素级别预测连续几何量。团队还开源了多个训练好的模型（O、OB、OBT 等版本），支持单视图、双视图和多视图输入，且代码附带商用许可（排除军事用途）。更棒的是，官方在 Hugging Face 上放了交互 Demo，传几张照片就能实时看到三维结果。 适用场景非常广泛：AR/VR 设备的即时空间感知、机器人抓取前的深度估计、无人机航拍三维重建、自动驾驶的多目相机标定等。传统 SfM 工具在纹理匮乏或运动模糊严重的场景下容易崩，VGGT 却相当稳健。 上手也不算难。项目 README 给出了清晰的安装指引和推理脚本，基础配置是 PyTorch + 16GB 显存（推荐 24GB）。新手如果熟悉 Python 和深度学习基本概念，按步骤加载预训练权重就能跑通自己的图像。当然，如果想调参或训练自己的数据，需要了解 Transformer 和 3D 视觉基础。不过对于绝大多数只想用现成模型的人来说，这已经是目前最友好的 3D 视觉解决方案之一。加上后续放出的 VGGT-Omega 进一步优化了显存效率，单卡能处理更多帧，期待它推动 3D 视觉从实验室走向真实应用。