Skip to content

图片转 3D · GAUSSIAN SPLAT

图片转 3D:一张照片,一个 3D Gaussian splat

Apple SHARP 在 GPU 上不到一秒就能从单张照片预测 3D Gaussian 表示,并实时渲染邻近视角。本页以任务为中心:你能得到什么、如何在 Mac 或 CUDA 上本地运行、如何查看结果。

你会得到什么

  • 一个带绝对尺度的 3D Gaussian .ply 文件,可直接用 splat 查看器打开。
  • 围绕原始视角的实时视差——是 3D 照片,而不是完整模型。
  • 在 CUDA GPU 上可选渲染相机轨迹视频。

本地运行 SHARP

  1. 创建 Python 3.13 环境并安装官方仓库。
  2. 把一张或多张照片放入 input 文件夹。
  3. 运行 sharp predict;首次使用会下载 checkpoint。
  4. 用 Gaussian splat 查看器打开输出的 .ply。
Python 3.13 · official SHARP CLI
conda create -n sharp python=3.13 -y
conda activate sharp
git clone https://github.com/apple-aiml-research/ml-sharp.git
cd ml-sharp
python -m pip install -r requirements.txt
sharp predict -i ./input -o ./output        # CPU, CUDA or MPS
sharp predict -i ./input -o ./output --render   # video rendering needs CUDA

查看结果

SHARP 输出标准的 3D Gaussian .ply 文件,网页版 splat 查看器可以直接打开。SHARP 使用 OpenCV 相机约定,如果查看器显示的场景翻转,请检查缩放与朝向。

需要可重打光的资产?

Luce(Apple,2026 年 8 月)面向物体而非场景,预测 PBR 材质——反照率、金属度-粗糙度和法线——因此资产可以重新打光并导出为网格。核对时尚未确认代码公开。

常见问题

这和摄影测量一样吗?

不一样。摄影测量需要很多照片并重建完整物体。SHARP 从一张照片推断出合理的 3D 场景,只面向邻近视角。

能在浏览器运行吗?

生成需要用官方命令行在本地运行,没有浏览器内推理。输出的 .ply 可以在网页 splat 查看器中查看。

能在 iPhone 上用吗?

原版不行;参考实现是面向 Mac 与 Linux 的 Python 包。请在电脑上生成,再分享视频或 splat 文件。