2026年9月12日測定 · 1台 · 6クラス · サンプルへの調整なし
FastVLM.net の実測
| 指標 | S0 | S2 |
|---|---|---|
| 正しい最上位クラス | 21/24 | 21/24 |
| ウォーム分類の中央値 | 109.8 ms | 273.2 ms |
| ウォーム分類 P95 | 119.5 ms | 357.3 ms |
| プロセス最大 RSS | 998.6 MiB | 1210.4 MiB |
| パラメーター量（float32） | 285.3 MiB | 378.2 MiB |
条件と限界
Apple M5 Pro・48 GiB、CPU・float32・4スレッド・バッチ1。各モデルは別プロセスで3回ウォームアップ後、24画像を固定順で5周。6候補のテキスト埋め込みは事前計算。画像デコード・前処理・画像エンコード・スコアを計測し、取得・ロード・テキスト処理は除外。
最大 RSS は Python・依存・モデルロード・初期化を含みます。パラメーター量はバッファー等を除外。最小 RAM や GPU メモリの数値ではありません。
6種類の合成テンプレートを各4枚、固定の英語6ラベルで分類。誤りは小さい文字の文書3枚を画面として分類したケースです。実画像やラベルの変更で結果は変わり、一般的な精度の同等性を示しません。
Apple 公開値：別のベンチマーク
ImageNet ゼロショット top-1 は S0 71.5%、S2 77.2%。この24枚の結果と合算せず、CPU 時間を別端末の公式値と直接比較しないでください。 Apple S0 · Apple S2
選択の考え方
この分類と CPU 遅延が用途に合えば S0 から開始。S2 は自分の画像とラベルで改善を確認して選択。どちらも文章回答を生成しません。
再現と元データ
python -m pip install "open_clip_torch==3.3.0" "timm==1.0.29" torch pillow
python scripts/evaluate-mobileclip.py --model S0
python scripts/evaluate-mobileclip.py --model S2S0 JSONS2 JSONManifestProvenance
全ケースを確認
receipt-1
期待クラス: a receipt
S0 予測: a receipt · 108.7 ms
S2 予測: a receipt · 270.8 ms
receipt-2
期待クラス: a receipt
S0 予測: a receipt · 110.7 ms
S2 予測: a receipt · 267.6 ms
receipt-3
期待クラス: a receipt
S0 予測: a receipt · 110.7 ms
S2 予測: a receipt · 263.7 ms
receipt-4
期待クラス: a receipt
S0 予測: a receipt · 110.4 ms
S2 予測: a receipt · 268.9 ms
chart-1
期待クラス: a bar chart
S0 予測: a bar chart · 109.9 ms
S2 予測: a bar chart · 264.2 ms
chart-2
期待クラス: a bar chart
S0 予測: a bar chart · 114.8 ms
S2 予測: a bar chart · 285.3 ms
chart-3
期待クラス: a bar chart
S0 予測: a bar chart · 112.7 ms
S2 予測: a bar chart · 280.6 ms
chart-4
期待クラス: a bar chart
S0 予測: a bar chart · 109.5 ms
S2 予測: a bar chart · 268.2 ms
interface-1
期待クラス: a user interface screenshot
S0 予測: a user interface screenshot · 110.3 ms
S2 予測: a user interface screenshot · 271.0 ms
interface-2
期待クラス: a user interface screenshot
S0 予測: a user interface screenshot · 110.5 ms
S2 予測: a user interface screenshot · 271.5 ms
interface-3
期待クラス: a user interface screenshot
S0 予測: a user interface screenshot · 110.6 ms
S2 予測: a user interface screenshot · 284.5 ms
interface-4
期待クラス: a user interface screenshot
S0 予測: a user interface screenshot · 111.0 ms
S2 予測: a user interface screenshot · 267.8 ms
small-text-1
期待クラス: an English text document
S0 予測: an English text document · 111.0 ms
S2 予測: an English text document · 270.9 ms
small-text-2
期待クラス: an English text document
S0 予測: a user interface screenshot · 108.1 ms
S2 予測: a user interface screenshot · 284.5 ms
small-text-3
期待クラス: an English text document
S0 予測: a user interface screenshot · 109.0 ms
S2 予測: a user interface screenshot · 282.1 ms
small-text-4
期待クラス: an English text document
S0 予測: a user interface screenshot · 109.4 ms
S2 予測: a user interface screenshot · 277.1 ms
chinese-1
期待クラス: a Chinese text document
S0 予測: a Chinese text document · 108.7 ms
S2 予測: a Chinese text document · 272.5 ms
chinese-2
期待クラス: a Chinese text document
S0 予測: a Chinese text document · 108.1 ms
S2 予測: a Chinese text document · 271.8 ms
chinese-3
期待クラス: a Chinese text document
S0 予測: a Chinese text document · 109.6 ms
S2 予測: a Chinese text document · 287.6 ms
chinese-4
期待クラス: a Chinese text document
S0 予測: a Chinese text document · 109.0 ms
S2 予測: a Chinese text document · 274.4 ms
shapes-1
期待クラス: an illustration of geometric shapes
S0 予測: an illustration of geometric shapes · 108.4 ms
S2 予測: an illustration of geometric shapes · 274.3 ms
shapes-2
期待クラス: an illustration of geometric shapes
S0 予測: an illustration of geometric shapes · 110.7 ms
S2 予測: an illustration of geometric shapes · 264.1 ms
shapes-3
期待クラス: an illustration of geometric shapes
S0 予測: an illustration of geometric shapes · 109.7 ms
S2 予測: an illustration of geometric shapes · 267.7 ms
shapes-4
期待クラス: an illustration of geometric shapes
S0 予測: an illustration of geometric shapes · 108.1 ms
S2 予測: an illustration of geometric shapes · 265.2 ms