GGUF 量化档位对照表——从 Q2 到 F16 怎么选
量化是什么
原始模型权重用 16-bit 浮点数存储，每个参数占 2 字节。量化是把权重压缩到 4-bit、5-bit 或 8-bit，用更少的位数表示近似值。体积缩小的同时质量会有损失，但在合理档位内损失几乎不可察觉。
常见量化档位
| 档位 | 每参数量化比特 | 体积比 F16 | 质量损失 | 适用场景 |
|---|---|---|---|---|
| F16 | 16-bit | 100% | 无 | 桌面显卡、大内存服务器 |
| Q8_0 | 8-bit | ~50% | 极小 | 6GB+ 内存设备 |
| Q5_K_M | 5-bit | ~33% | 小 | 4~6GB 内存设备 |
| Q4_K_M | 4-bit | ~25% | 很小 | 社区默认推荐 |
| Q3_K_M | 3-bit | ~19% | 可感知 | 3~4GB 内存设备 |
| Q2_K | 2-bit | ~12.5% | 明显 | 2GB 及以下内存保底 |
K_M 后缀是什么意思
量化方法有很多变体。K 表示 k-quants 系列（llama.cpp 推荐的量化家族），M 表示 medium——在同系列里体积与质量的折衷选项。通常优先选 K 系列，其他系列如 legacy Q4_0 / Q4_1 已不推荐。
实际体积示例
以 Llama 3.1 8B 模型为例：
| 量化档位 | 文件大小 |
|---|---|
| F16 | 16GB |
| Q8_0 | 8.5GB |
| Q5_K_M | 5.1GB |
| Q4_K_M | 4.7GB |
| Q3_K_M | 3.4GB |
| Q2_K | 2.2GB |
推荐策略
- 先按上一页的内存对照表确定你的手机能装的最大体积
- 在 Hugging Face 上找到目标模型仓库的 GGUF 分支
- 挑一个不超过内存上限的 Q4_K_M 档试跑
- 跑通且流畅再往上加（Q5_K_M / Q8_0），跑不动就往下减（Q3_K_M / Q2_K）