手机本地跑大模型的速度预期——什么算快什么算慢
先搞清楚 token / 秒
Token 是模型处理文本的基本单位。中文大约 1~2 字 = 1 token，英文大约 4 字符 = 1 token。生成速度指模型每秒能吐出多少新 token。
- 1 token/s ≈ 逐字蹦跶，几乎不能用
- 5 token/s ≈ 几秒出一句话，勉强可用
- 10 token/s ≈ 日常对话流畅，但长篇输出还是能感受到延迟
- 20+ token/s ≈ 和云 AI 体验接近
各档位机型速度参考
以下是社区 Benchmark 数据中常见的区间（使用 Q4_K_M 量化模型，默认参数）：
| 机型档位 | 典型设备 | 7B 模型生成速度 | 4B 模型生成速度 |
|---|---|---|---|
| iPad Pro M4 / M3 | iPad Pro 11" 6th Gen | 18~25 token/s | 25+ token/s |
| iPhone 17 Pro / Pro Max | iPhone 17 Pro | 12~18 token/s | 20+ token/s |
| iPhone 16 / 17 标准版 | iPhone 17 | 10~14 token/s | 15+ token/s |
| iPhone 13 / 14 Pro 系列 | iPhone 14 Pro | 8~12 token/s | 12+ token/s |
| 安卓旗舰（骁龙 8 Gen 4） | Galaxy S25 Ultra | 10~16 token/s | 18+ token/s |
| 安卓主流（骁龙 8 Gen 2） | OnePlus 12 | 6~10 token/s | 10+ token/s |
| 入门机型（4~6GB RAM） | Redmi / POCO 入门款 | 3~6 token/s | 5~8 token/s |
影响速度的关键因素
模型规模（最大变量）
同样是 Q4_K_M 档，2B 模型可能比 7B 模型快 200% 以上。参数量每翻一倍，速度大致减半。 这是选择模型时的核心 trade-off。
量化档位（第二大变量）
F16 → Q8 → Q5 → Q4 → Q3 → Q2，每降一档体积变小、速度变快、质量变差。
GPU vs CPU
iOS 上 Metal GPU offload 通常能带来 30~100% 的加速。安卓上 Vulkan offload 效果因设备而异，部分机型完全不可用。
长对话速度衰减
长对话拖慢是正常现象——模型要遍历的上下文越来越长。开新会话立即恢复速度。
怎么让它更快
- 换更小的模型（降参数量级）
- 降量化档位（Q4 → Q3）
- 缩短上下文窗口（8192 → 4096）
- 开 GPU offload（如支持）
- 清理后台释放内存
- 减少长对话、勤开新会话