全部 FastVLM 指南
操作步骤
- 1
安装已包含 FastVLM 支持的 Transformers 版本。
- 2
加载兼容模型与 AutoProcessor。
- 3
用独立的 image 与 text 内容项构造消息。
- 4
调用 generate 前使用 apply_chat_template;不能只传普通字符串。
示例
Transformers
from transformers import AutoProcessor, FastVlmForConditionalGeneration
model_id = "KamilaMila/FastVLM-0.5B"
model = FastVlmForConditionalGeneration.from_pretrained(
model_id, device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_id)