测量日期：2026-09-12 · 单台设备 · 六个类别 · 未针对样例调参
FastVLM.net 本站实测
| 指标 | S0 | S2 |
|---|---|---|
| 首位类别正确数量 | 21/24 | 21/24 |
| 热运行分类耗时中位数 | 109.8 ms | 273.2 ms |
| 热运行分类耗时 P95 | 119.5 ms | 357.3 ms |
| 进程峰值 RSS | 998.6 MiB | 1210.4 MiB |
| 参数张量大小（float32） | 285.3 MiB | 378.2 MiB |
测试条件与适用范围
测试主机为 Apple M5 Pro、48 GiB 统一内存；使用 CPU、float32、4 个 PyTorch 线程、batch size 1。每个模型使用独立进程，先预热 3 次，再按固定顺序将全部 24 张图片重复测试 5 轮。六个候选标签的文本向量预先计算。耗时包含图片文件解码、预处理、图像编码与打分，不含下载、模型加载和文本编码。
峰值 RSS 包含 Python、库导入、checkpoint 加载与初始化。参数张量字节数不含缓冲与运行开销。两者都不是最低内存要求，也不是 GPU 显存占用。
测试集由六类合成模板构成，每类四个变体，使用固定的六个英文候选标签。两者的三次错误均为把小字文档分到界面类别。更换标签、照片或真实文档后结果可能不同，本次相同的成绩不能代表通用准确率相同。
Apple 公开成绩：另一套基准
Apple 公布的 ImageNet 零样本 top-1 为 S0 71.5%、S2 77.2%。其数据集和测试方法与本站不同，不应和这 24 张图片合并计算，也不要将本站 CPU 耗时与 Apple 的设备基准直接比较。 Apple S0 · Apple S2
如何选择
如果这些文档类别的区分方式符合你的任务，并且重视 CPU 耗时，可以从 S0 开始。只有在自己的标签与图片上验证 S2 的收益后，再判断是否值得增加资源占用。两者均不生成文字回答。
复现与查看原始数据
python -m pip install "open_clip_torch==3.3.0" "timm==1.0.29" torch pillow
python scripts/evaluate-mobileclip.py --model S0
python scripts/evaluate-mobileclip.py --model S2S0 JSONS2 JSONManifestProvenance
逐例查看全部结果
receipt-1
预设类别: a receipt
S0 预测类别: a receipt · 108.7 ms
S2 预测类别: a receipt · 270.8 ms
receipt-2
预设类别: a receipt
S0 预测类别: a receipt · 110.7 ms
S2 预测类别: a receipt · 267.6 ms
receipt-3
预设类别: a receipt
S0 预测类别: a receipt · 110.7 ms
S2 预测类别: a receipt · 263.7 ms
receipt-4
预设类别: a receipt
S0 预测类别: a receipt · 110.4 ms
S2 预测类别: a receipt · 268.9 ms
chart-1
预设类别: a bar chart
S0 预测类别: a bar chart · 109.9 ms
S2 预测类别: a bar chart · 264.2 ms
chart-2
预设类别: a bar chart
S0 预测类别: a bar chart · 114.8 ms
S2 预测类别: a bar chart · 285.3 ms
chart-3
预设类别: a bar chart
S0 预测类别: a bar chart · 112.7 ms
S2 预测类别: a bar chart · 280.6 ms
chart-4
预设类别: a bar chart
S0 预测类别: a bar chart · 109.5 ms
S2 预测类别: a bar chart · 268.2 ms
interface-1
预设类别: a user interface screenshot
S0 预测类别: a user interface screenshot · 110.3 ms
S2 预测类别: a user interface screenshot · 271.0 ms
interface-2
预设类别: a user interface screenshot
S0 预测类别: a user interface screenshot · 110.5 ms
S2 预测类别: a user interface screenshot · 271.5 ms
interface-3
预设类别: a user interface screenshot
S0 预测类别: a user interface screenshot · 110.6 ms
S2 预测类别: a user interface screenshot · 284.5 ms
interface-4
预设类别: a user interface screenshot
S0 预测类别: a user interface screenshot · 111.0 ms
S2 预测类别: a user interface screenshot · 267.8 ms
small-text-1
预设类别: an English text document
S0 预测类别: an English text document · 111.0 ms
S2 预测类别: an English text document · 270.9 ms
small-text-2
预设类别: an English text document
S0 预测类别: a user interface screenshot · 108.1 ms
S2 预测类别: a user interface screenshot · 284.5 ms
small-text-3
预设类别: an English text document
S0 预测类别: a user interface screenshot · 109.0 ms
S2 预测类别: a user interface screenshot · 282.1 ms
small-text-4
预设类别: an English text document
S0 预测类别: a user interface screenshot · 109.4 ms
S2 预测类别: a user interface screenshot · 277.1 ms
chinese-1
预设类别: a Chinese text document
S0 预测类别: a Chinese text document · 108.7 ms
S2 预测类别: a Chinese text document · 272.5 ms
chinese-2
预设类别: a Chinese text document
S0 预测类别: a Chinese text document · 108.1 ms
S2 预测类别: a Chinese text document · 271.8 ms
chinese-3
预设类别: a Chinese text document
S0 预测类别: a Chinese text document · 109.6 ms
S2 预测类别: a Chinese text document · 287.6 ms
chinese-4
预设类别: a Chinese text document
S0 预测类别: a Chinese text document · 109.0 ms
S2 预测类别: a Chinese text document · 274.4 ms
shapes-1
预设类别: an illustration of geometric shapes
S0 预测类别: an illustration of geometric shapes · 108.4 ms
S2 预测类别: an illustration of geometric shapes · 274.3 ms
shapes-2
预设类别: an illustration of geometric shapes
S0 预测类别: an illustration of geometric shapes · 110.7 ms
S2 预测类别: an illustration of geometric shapes · 264.1 ms
shapes-3
预设类别: an illustration of geometric shapes
S0 预测类别: an illustration of geometric shapes · 109.7 ms
S2 预测类别: an illustration of geometric shapes · 267.7 ms
shapes-4
预设类别: an illustration of geometric shapes
S0 预测类别: an illustration of geometric shapes · 108.1 ms
S2 预测类别: an illustration of geometric shapes · 265.2 ms