FASTVLM モデル

FastVLM-1.5B

公式チェックポイント、公開ベンチマーク値、実用的な開始手順。

バランスBalanced

公式の中間サイズで、Apple 公開表の全評価で 0.5B を上回りながら、7B より大幅に小さいモデルです。

適した用途: バランスの取れたローカル推論と Apple Silicon 開発
対応経路: Python · Apple Silicon · Workstation
チェックポイント: apple/FastVLM-1.5B

ダウンロードコマンド

python -m pip install huggingface_hub
hf download apple/FastVLM-1.5B

FastVLM Stage3 1.5B とは？

Apple の論文で説明された追加の指示チューニングを経た 1.5B バリアントです。Stage3 は学習段階、1.5B はモデルサイズを示します。独立したインストールパッケージではありません。

Stage2：視覚指示チューニング後のチェックポイント。
Stage3：Stage2 を推論例を含む高品質な指示データで追加微調整。両段階のモデルが公開されています。

実行環境に合うファイルを選択

実行環境	モデルファイル	次の手順
元の PyTorch リポジトリ	Stage3 PyTorch ZIPモデルを取得 ↗	展開後 predict.py で実行。
公式 Apple Silicon アプリ	Stage3 Apple Silicon ZIP · LLM int8モデルを取得 ↗	アプリの取得スクリプトで正しいフォルダーに配置。
Hugging Face Transformers	Transformers ガイドの互換チェックポイントを使用。Hugging Face のファイルと Apple ZIP はそのまま交換できません。	画像から回答までの完全な例に従う。

Mac / iPhone で Stage3 1.5B を実行

公式アプリの要件は macOS 15.2+ / iOS 18.2+。Xcode を用意し、対応ターゲットを選択します。コマンドはリポジトリ直下で実行し、初回取得前のモデルフォルダーは空にしてください。

Apple Silicon · Stage3 1.5B

git clone https://github.com/apple-aiml-research/ml-fastvlm.git
cd ml-fastvlm
chmod +x app/get_pretrained_mlx_model.sh
app/get_pretrained_mlx_model.sh --model 1.5b --dest app/FastVLM/model
open app/FastVLM/FastVLM.xcodeproj

Xcode でビルド・実行し、画像かカメラ入力で質問します。回答と TTFT が表示されれば動作確認できます。回答文は画像と質問により変わります。

必要なメモリは？

全実行環境に共通する検証済みの最小値はありません。精度、解像度、バッファー、生成長が影響します。int8 は言語モデル重みの精度であり、アプリ全体のメモリではありません。読み込めない場合は 0.5B を試してください。

初回実行の問題

モデル未検出：app/FastVLM/model への取得完了を確認。
メモリ不足：他の GPU 処理を終了し、出力を短くするか 0.5B を選択。
形式不一致：アプリには Apple Silicon エクスポート、predict.py には PyTorch モデルを使用。

Python / Transformers 完全ガイド →

出典確認：2026年9月12日 · Paper · Model Zoo · App README

公開ベンチマークスコア

Apple FastVLM モデルカードの値です。高いほど良い値ですが、同じ行の中でのみ比較してください。

ベンチマーク	FastVLM-1.5B
AI2D	77.4
ScienceQA	94.4
MMMU	37.8
VQAv2	79.1
ChartQA	80.1
TextVQA	70.4
InfoVQA	59.7
DocVQA	88.3
OCRBench	70.2
RealWorldQA	61.2
SeedBench-Img	74.2

推奨される次の手順

Apple AMLR モデルライセンスとモデルカードを読みます。
実ファイルと精度からハードウェア要件を見積もります。
代表的な画像とプロンプトで開始します。
対象端末で初回・ウォーム遅延、メモリ、出力品質を測定します。

実装ガイドを開く