测量日期:2026-09-12 · 全部案例公开
- 答案精确匹配
- 8/24
- 包含预期答案
- 21/24
- 图片 → 回答耗时中位数
- 732.5 ms
这是小型合成集上的回答格式与目标出现检查,不是通用 OCR 准确率。回答包含目标时,仍可能附带错误信息。
测试了什么
主机为 Apple M5 Pro、48 GiB 统一内存,使用无头 Chrome 152.0.7977.83 与 WebGPU。模型为 onnx-community/FastVLM-0.5B-ONNX,Transformers.js 3.7.2;视觉编码器与解码器 q4、词嵌入 fp16。先用独立收据预热一次,再对每张图运行一次。输入 800×600,页面在模型预处理前将最长边限制为 1024 像素。贪心生成,最多新增 192 个 token,重复惩罚 1.2。
耗时从图片处理前开始,到生成结束,不含模型准备、选择图片与导出 JSON。原始数据中的首段文字计时截止于第一个非空文本片段,不是严格的首 token 事件。每张图的一次计时不足以证明跨设备的稳定性能。
24 张图片均为原创合成图,由六类模板、每类四个变体构成。不包含照片、扫描件、手写内容或用户真实文档。大部分问题只问一个字段或类别,并非全文转录。字体、布局与标签在推理前已固定;这个集合不足以用于通用模型排名。
按任务类别查看结果
| 类别 | 答案精确匹配 | 包含预期答案 | 图片 → 回答耗时中位数 |
|---|---|---|---|
| 收据 | 4/4 | 4/4 | 719.0 ms |
| 图表 | 0/4 | 4/4 | 697.5 ms |
| 界面 | 0/4 | 4/4 | 1884.5 ms |
| 英文小字 | 0/4 | 4/4 | 746.0 ms |
| 中文 | 0/4 | 1/4 | 971.0 ms |
| 形状计数 | 4/4 | 4/4 | 699.5 ms |
精确匹配会去掉首尾空白、一个前置美元符号和一个末尾标点,再忽略英文大小写比较。“包含预期答案”对英文和数字使用完整 token,对中文使用子串检查。两项均不判断附加解释是否真实。
这些案例说明什么
- 四个收据总额和四个蓝色圆形数量都严格匹配了要求的回答。
- 图表名称、界面状态和英文产品编号出现在回答中,但模型经常在要求简答时添加解释,后续程序不能默认它遵守输出格式。
- 四道中文地点题中,三道没有出现图上地点。剩下一道虽包含预期地点,也附加了没有依据的说法。此配置用于中文提取时需要人工核对。
可以用 Playground 测试自己的任务并检查输出。目前证据支持有人检查的图片问答体验,尚不足以把它作为完全可靠、无需校对的 OCR 工具。
自行复现
npm install --save-dev @playwright/test@1.55.1
# First start the FastVLM site locally; the script uses its English /demo.
PLAYWRIGHT_BASE_URL=http://127.0.0.1:4178 node scripts/evaluate-browser.mjs 逐例查看全部结果
“包含预期答案”只检查目标是否出现,回答其余部分仍可能编造信息。“精确匹配”同时检验是否遵循了简短回答的格式要求。
receipt-1
问题: What is the TOTAL amount? Return the amount only.
预期答案: 15.00
实际回答
$15.00
- 精确匹配
- 是
- 包含预期答案
- 是
- 图片 → 回答
- 720 ms
receipt-2
问题: What is the TOTAL amount? Return the amount only.
预期答案: 27.50
实际回答
$27.50
- 精确匹配
- 是
- 包含预期答案
- 是
- 图片 → 回答
- 718 ms
receipt-3
问题: What is the TOTAL amount? Return the amount only.
预期答案: 7.25
实际回答
$7.25
- 精确匹配
- 是
- 包含预期答案
- 是
- 图片 → 回答
- 691 ms
receipt-4
问题: What is the TOTAL amount? Return the amount only.
预期答案: 100.90
实际回答
$100.90
- 精确匹配
- 是
- 包含预期答案
- 是
- 图片 → 回答
- 723 ms
chart-1
问题: Which category has the highest number of orders? Answer with its name only.
预期答案: Beta
实际回答
Answer: Beta
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 694 ms
chart-2
问题: Which category has the highest number of orders? Answer with its name only.
预期答案: Alpha
实际回答
Answer: Alpha
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 701 ms
chart-3
问题: Which category has the highest number of orders? Answer with its name only.
预期答案: Gamma
实际回答
Answer: Gamma
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 685 ms
chart-4
问题: Which category has the highest number of orders? Answer with its name only.
预期答案: Beta
实际回答
Answer: Beta
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 717 ms
interface-1
问题: What is the delivery status of order #1042? Return the status only.
预期答案: Pending
实际回答
To determine the delivery status of Order #1042, we need to carefully examine the provided image. The image shows an interface with various elements such as buttons for "View" and "Order." Step 1: Identify the relevant information. - Locate the section labeled "Delivery status." - Observe that there is a button next to this label. Step 2: Read the text on the button. - The button clearly states "Pending." Therefore, based on the information in the image, the delivery status of Order #1042 is "Pending." This indicates that the order has not yet been delivered or processed by the system.
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 1563 ms
interface-2
问题: What is the delivery status of order #1042? Return the status only.
预期答案: Approved
实际回答
To determine the delivery status of order #1042, we need to carefully examine the provided image. The image shows an interface with various elements such as buttons, text fields, and links. Step 1: Identify the relevant information. - In this case, we are looking for the "Delivery status" of order #1042. Step 2: Locate the button labeled "Approved." - Upon examining the image, we see that there is a blue button labeled "Approved." Step 3: Confirm the delivery status based on the label. - Since the button labeled "Approved" indicates that the delivery status has been approved, we can conclude that the delivery status of order #1042 is indeed approved. Therefore, the delivery status of order #1042 is Approved.
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 1802 ms
interface-3
问题: What is the delivery status of order #1042? Return the status only.
预期答案: Shipped
实际回答
To determine the delivery status of order #1042, we need to carefully examine the provided image. The image shows an interface with various elements such as buttons for "View" and "Order". Step 1: Identify the relevant information. - In this case, we focus on the button labeled "Shipped". Step 2: Understand the context. - The text above the "Shipped" button reads "Order #1042", indicating that this is the specific order being referred to. Step 3: Confirm the delivery status based on the given instruction. - According to the instructions in the simple answer, the delivery status should be specified by clicking or hovering over the "Shipped" button. Therefore, the delivery status of order #1042 can be determined by following these steps: 1. Locate the "Shipped" button in the image. 2. Read the accompanying text which states "Order #10
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 1967 ms
interface-4
问题: What is the delivery status of order #1042? Return the status only.
预期答案: Cancelled
实际回答
To determine the delivery status of Order #1042, we need to carefully examine the provided image. The image shows an interface with various elements such as buttons for "View" and "Order," along with text labels. Step-by-Step Solution: 1. **Identify the Relevant Information:** - Locate the section labeled "Delivery status." - Within this section, there is a button that reads "Cancelled." 2. **Analyze the Button's Text:** - The button has the label "Cancelled" which indicates the current status of the order. 3. **Conclusion:** - Based on the information provided in the image, the delivery status of Order #1042 is "Canceled." Therefore, the detailed answer is: The delivery status of Order #1042 is canceled. This conclusion can be drawn by examining the relevant section of the interface where the "Order Status" option is highlighted,
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 2059 ms
small-text-1
问题: What is the product code? Return the code only.
预期答案: AX-4179
实际回答
The product code is AX-4179.
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 783 ms
small-text-2
问题: What is the product code? Return the code only.
预期答案: BK-5826
实际回答
The product code is BK-5826.
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 744 ms
small-text-3
问题: What is the product code? Return the code only.
预期答案: CM-9034
实际回答
The product code is CM-9034.
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 748 ms
small-text-4
问题: What is the product code? Return the code only.
预期答案: DT-2681
实际回答
The product code is DT-2681.
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 742 ms
chinese-1
问题: 活动地点在哪里?只回答地点名称。
预期答案: 城市图书馆
实际回答
根据提供的文本,该活动的地点是“中国北京”。“中国北京”的位置位于中国首都北京,具体来说是在东城区,与周边地区相对应。这可以从所提供的地理信息中推断出来,因为提到的是“一座城市和一个国家”。
- 精确匹配
- 否
- 包含预期答案
- 否
- 图片 → 回答
- 1056 ms
chinese-2
问题: 活动地点在哪里?只回答地点名称。
预期答案: 社区活动中心
实际回答
根据图片中提供的信息,该活动的地点是“中国云南”(China Yunnan). 这些文本表明了地理位置和文化背景,但没有提供具体位置或详细说明。
- 精确匹配
- 否
- 包含预期答案
- 否
- 图片 → 回答
- 980 ms
chinese-3
问题: 活动地点在哪里?只回答地点名称。
预期答案: 人民公园
实际回答
根据图片中提供的信息,该活动的地点是“人民公园”。这可以通过文本中的第二行所示,“市民公园”被翻译为“人民公园”,表明它是一个公共区域或公园。
- 精确匹配
- 否
- 包含预期答案
- 是
- 图片 → 回答
- 962 ms
chinese-4
问题: 活动地点在哪里?只回答地点名称。
预期答案: 科学博物馆
实际回答
根据提供的文本,该活动的地点是“中国云南三元街”。这表明该活动发生在三元街,这是中国云南的一条主要街道和文化街区之一。
- 精确匹配
- 否
- 包含预期答案
- 否
- 图片 → 回答
- 948 ms
shapes-1
问题: How many blue circles are in the image? Return one digit only.
预期答案: 1
实际回答
1
- 精确匹配
- 是
- 包含预期答案
- 是
- 图片 → 回答
- 708 ms
shapes-2
问题: How many blue circles are in the image? Return one digit only.
预期答案: 2
实际回答
2
- 精确匹配
- 是
- 包含预期答案
- 是
- 图片 → 回答
- 678 ms
shapes-3
问题: How many blue circles are in the image? Return one digit only.
预期答案: 3
实际回答
3
- 精确匹配
- 是
- 包含预期答案
- 是
- 图片 → 回答
- 696 ms
shapes-4
问题: How many blue circles are in the image? Return one digit only.
预期答案: 4
实际回答
4
- 精确匹配
- 是
- 包含预期答案
- 是
- 图片 → 回答
- 703 ms