Skip to content

画像から3D · GAUSSIAN SPLAT

画像から3D:写真1枚から 3D Gaussian splat

Apple SHARP は GPU 上で1秒未満に1枚の写真から 3D Gaussian 表現を予測し、近傍視点をリアルタイムに描画します。このページはタスク優先のガイドです。得られるもの、Mac や CUDA でのローカル実行、結果の表示方法。

得られるもの

  • メトリック尺度を持つ 3D Gaussian の .ply ファイル。スプラットビューアでそのまま開けます。
  • 元の視点周辺のリアルタイムパララックス。完全なモデルではなく3Dフォトです。
  • CUDA GPU では任意でカメラ軌道の動画をレンダリング。

SHARP をローカルで実行

  1. Python 3.13 環境を作成し公式リポジトリをインストール。
  2. 写真を input フォルダーに配置。
  3. sharp predict を実行。初回はチェックポイントを取得します。
  4. 出力の .ply を Gaussian スプラットビューアで開く。
Python 3.13 · official SHARP CLI
conda create -n sharp python=3.13 -y
conda activate sharp
git clone https://github.com/apple-aiml-research/ml-sharp.git
cd ml-sharp
python -m pip install -r requirements.txt
sharp predict -i ./input -o ./output        # CPU, CUDA or MPS
sharp predict -i ./input -o ./output --render   # video rendering needs CUDA

結果の表示

SHARP は標準的な 3D Gaussian .ply を出力し、Web ベースのスプラットビューアで直接開けます。SHARP は OpenCV のカメラ規約を使うため、シーンが反転して見える場合はスケールと向きを確認してください。

再照明可能なアセットが必要?

Luce(Apple、2026年8月)はシーンではなくオブジェクトを対象に、アルベド、メタリック・ラフネス、法線といった PBR 材質を予測し、再照明とメッシュ書き出しを可能にします。確認時点でコード公開は未確認です。

よくある質問

フォトグラメトリと同じ?

いいえ。フォトグラメトリは多数の写真から完全なオブジェクトを再構築します。SHARP は1枚の写真からもっともらしい3Dシーンを推定し、近傍視点のみを対象とします。

ブラウザで動く?

生成は公式 CLI でローカル実行し、ブラウザ内推論はありません。出力 .ply を Web スプラットビューアで見ることは可能です。

iPhone で使える?

そのままでは不可。参照実装は Mac と Linux 向けの Python パッケージです。PC で生成し、動画やスプラットファイルを共有してください。