什么是量化？
量化是通过减少模型参数的精度（如将32位浮点数转换为8位整数）来降低模型体积和计算成本的技术。
量化方法分类
- 静态量化：训练后固定参数精度（如INT8）
- 动态量化：运行时根据输入数据调整精度
- 量化感知训练：在训练阶段模拟量化效应
- 混合量化：部分参数量化，部分保持浮点数
应用场景
- 移动端部署（如手机端AI模型）
- 边缘计算设备优化
- 模型存储与传输成本降低
- 能耗减少（如嵌入式系统）
优势与挑战
✅ 优势：
- 模型体积缩小 10-100 倍
- 推理速度提升 3-10 倍
- 降低硬件资源需求
⚠️ 挑战：
- 可能导致精度损失
- 需要特殊硬件支持（如INT8 GPU）
- 量化后需重新校准