公开评测
FastVLM 基准测试
在 11 项公开视觉语言评测中对比三个官方模型规模。选择模型即可查看它的得分分布。
选择模型
基准得分分布
FastVLM-0.5B分数越高越好
AI2D
68.0
ScienceQA
85.2
MMMU
33.9
VQAv2
76.3
ChartQA
76.0
TextVQA
64.5
InfoVQA
46.4
DocVQA
82.5
OCRBench
63.9
RealWorldQA
56.1
SeedBench-Img
71.0
完整对比表
| 基准 | 0.5B | 1.5B | 7B |
|---|---|---|---|
| AI2D | 68.0 | 77.4 | 83.6 |
| ScienceQA | 85.2 | 94.4 | 96.7 |
| MMMU | 33.9 | 37.8 | 45.4 |
| VQAv2 | 76.3 | 79.1 | 80.8 |
| ChartQA | 76.0 | 80.1 | 85.0 |
| TextVQA | 64.5 | 70.4 | 74.9 |
| InfoVQA | 46.4 | 59.7 | 75.8 |
| DocVQA | 82.5 | 88.3 | 93.2 |
| OCRBench | 63.9 | 70.2 | 73.1 |
| RealWorldQA | 56.1 | 61.2 | 67.2 |
| SeedBench-Img | 71.0 | 74.2 | 75.4 |
如何理解这些数字
这些分数来自 Apple FastVLM Hugging Face 模型卡。页面没有给出一个通用延迟值，因为运行时间取决于分辨率、精度、硬件和实现。应在同一基准行内比较模型，不应把不同基准的数字刻度视为相同。