大模型微调入门：LoRA 是什么

一、为什么要微调

通用大模型虽然强大，但未必懂你的特定领域、特定风格或特定任务。微调（Fine-tuning）就是用你自己的数据继续训练模型，让它「更懂你的活儿」。

二、全量微调 vs 参数高效微调

• 全量微调：更新模型全部参数，效果好但显存和成本极高，普通个人难以承受。
• 参数高效微调（PEFT）：只训练一小部分参数或新增少量参数，成本大幅下降，LoRA 就是其中的代表。

三、LoRA 的核心思想

LoRA（Low-Rank Adaptation，低秩适配）不直接修改原模型权重，而是在原权重旁「并联」一个小的低秩矩阵，只训练这个新增的小矩阵。

好处：

• 参数量极少：可能只占原模型的 1% 甚至更低。
• 显存占用低：单张消费级显卡就能微调 7B 模型。
• 可插拔：训练出的 LoRA 是独立小文件，可随时挂载/卸载，一个基座模型可配多个 LoRA。

四、微调 vs RAG 怎么选

• RAG：适合「需要实时、大量、频繁更新的知识」，成本低、见效快。
• 微调：适合「改变模型的风格、格式、推理方式」或「内化稳定的领域知识」。
• 两者也常结合使用：RAG 提供事实，微调塑造行为。

五、常见微调工具

Hugging Face 的 PEFT、transformers，以及 LLaMA-Factory、unsloth 等，都让 LoRA 微调变得可视化、低门槛。

六、小结

LoRA 让「人人都能微调大模型」成为现实。理解它与 RAG 的分工，能帮你用最低成本解决真实业务问题。