微调
是什么？

微调的编年史

• 2019 BERT 微调时代

  "预训练 + 微调"成为 NLP 标配范式：下游任务接上分类头，用领域数据把 BERT 调成专用模型——微调这个词由此进入大众视野。

• 2021 LoRA 论文

  微软发布低秩适配（arXiv:2106.09685）：冻结预训练权重、只训练注入的低秩矩阵，可训练参数骤减——大模型微调的成本降了一个数量级。

• 2022 InstructGPT

  OpenAI 发表 SFT + 奖励模型 + RLHF 三段式（arXiv:2203.02155），"指令微调 + 人类反馈"成为对齐主线，也是 ChatGPT 的前身。

• 2023 API 与开放权重

  GPT-3.5 微调 API 上线，闭源模型也能定制；Llama 开放权重发布，开源社区掀起 LoRA 微调热潮。

• 2024+ LoRA 生态平民化

  QLoRA、PEFT 等工具成熟，消费级显卡可微调十亿级参数模型；微调从研究课题变成工程师的常规手段。

• 2026 企业知识资产化

  企业把话术、口径、领域行为沉淀为数据集与 LoRA 权重，与 RAG 组合部署——"定制能力"本身成为可复用的知识资产。

设计张力与常见误解

• RAG vs 微调——事实与出处选 RAG，风格与行为选微调；生产系统常常两者叠加，各管一段。
• 全参 vs LoRA——全参上限高但贵且难保存；LoRA 便宜、可插拔，多数场景从 LoRA 起步验证。
• 灾难性遗忘——专才变强可能以通才退步为代价；混入通用数据、控制轮数、跑回归评测来对冲。
• 数据合规与版权——数据一旦训进权重就难撤回：隐私、版权、商业机密必须在入口把关。
• 成本与周期——显卡、数据清洗、评测、重训运维都是持续成本；一次微调不等于一劳永逸。
• 通用 vs 专用——越专用越偏离通才；多任务并存时，专用与通用模型分工比"一个全能"更稳。

三个常见误解：① "微调能记住我的文档库"——不能，知识注入用 RAG，微调学的是行为与风格；② "微调后模型全面变强"——它只是在特定维度变好，可能牺牲通用性；③ "LoRA 便宜所以随便调"——真正的大头是数据准备与评测，训练只是中间一步。