大模型量化技术:INT8 与 INT4 是什么
果子发表于:2026-10-03 15:02:50浏览:29次
一、为什么需要量化
大模型参数量巨大,默认用 16 位浮点(FP16/BF16)存储,7B 模型就要约 14GB 显存。量化就是用更低精度(如 8 位、4 位)存储权重,大幅降低显存和内存占用,让大模型能在普通硬件上运行。
二、量化是什么原理
简单说,量化把浮点权重「映射」到更少的比特位。比如把一个 0~1 之间的浮点数压缩成 0~255 的整数(8 位),精度损失很小,但存储空间减半。
三、常见精度
- FP16/BF16:默认的 16 位浮点,效果无损。
- INT8(8 位):显存约减半,效果几乎无损,工业界广泛使用。
- INT4(4 位):显存再减半,7B 模型只需约 4GB,损失可控,是本地部署的主流选择。
- 更低位(INT2 等):能省更多但质量下降明显,较少使用。
四、常见量化方案
- GPTQ:基于训练数据校准的量化,适合 GPU 推理。
- AWQ:保护重要权重,效果稳定。
- GGUF + llama.cpp:CPU/GPU 混合推理,Ollama 就用它。
- bitsandbytes:Hugging Face 生态里常用的 4/8 位量化库。
五、量化会损失什么
量化后模型通常「略笨一点」:复杂推理、长文本、代码生成等任务上可能出现轻微下降。所以要在「资源」和「效果」之间权衡。
六、小结
量化是让大模型「落地」的关键技术。理解 INT8/INT4 的取舍,你就能在有限的硬件上跑起更大的模型,这也是本地部署的第一步。
栏目分类全部>
推荐文章
- 2026 年最值得学的 7 个编程方向:踩中一个就够吃五年
- 【Webman+MySQL教程一】安装 Webman,跑通第一个 Hello World
- 大模型量化技术:INT8 与 INT4 是什么
- 多模态大模型简介:能看、能听、能说
- docker 基本操作之 镜像文件、容器启动等
- 【Webman+MySQL教程五】开发完整的 JSON 接口:统一返回、参数校验与异常处理
- OpenClaw 技能(Skills)系统:让 AI 学会你的专属工作流
- 同一段报错,贴日志比贴截图少熬一夜
- PhpStorm 链接管理Mysql数据库(远程数据库和本地数据库)
- OpenClaw 连接 Telegram 完整教程(最推荐的入门渠道)

