模型训练指南一：三种训练方式介绍

本文将介绍大语言模型（LLM）从通用底座走向垂直领域应用的三大核心演进阶段：PT（增量预训练）、SFT（有监督微调）及DPO（直接偏好优化）。

- PT (知识注入)： 侧重于领域知识与语言分布的吸收，构建模型的“知识底座”，解决“知不知道”的问题。

- SFT (行为对齐)： 通过指令遵循训练与人格塑造，规范模型的交互逻辑，解决“听不听指挥”的问题。

- DPO (价值对齐)： 利用偏好学习优化情感决策，消除“AI味”并提升情商，解决“讨不讨喜”的问题。

## PT (增量预训练 / Continual Pre-training)

**定位：** 模型的知识底座建设，解决“知不知道”的问题。

**目标：** 学习特定领域的“新知识”或“语言分布”。

**业务场景：**

- **知识注入：** 喂入心理学著作、动漫百科等语料，打造“资深咨询师”或“二次元少女”人设。
- **语言习惯：** 熟悉行业黑话、方言或特定人文背景（如社交平台语料）。

**技术实操：**

- **数据：** 海量纯文本（Raw Text），无需问答对。
- **Loss函数：** 自回归任务中的 `CrossEntropyLoss`。
- **关键参数：** 学习率极低（  `le 10^{-5}` ），防止破坏原有的通用逻辑。

**核心能力提升：** 
- **理解力深度：** 减少对专业名词的误解。
- **词汇分布：** 预测概率更接近目标人群（如陪伴场景）的说话习惯。


## SFT (有监督微调 / Supervised Fine-Tuning)

**定位：** 模型的行为规范与人格塑造，解决“像不像人”与“听不听指挥”的问题。

**目标：** 学习“指令遵循”与对话格式。

**业务场景：**
- **人格塑造：** 训练模型以特定语气（温柔、幽默、毒舌）说话。
- **交互对齐：** 将机器人式的“列提纲”回答转化为自然、口语化的多轮沟通。
- **功能触发：** 学习在特定语境下执行动作（如提供安慰、触发特定指令）。

**技术实操：**
- **数据：** `Instruction + Input + Output` 三元组问答对（JSONL格式）。
- **主流方法：** **PEFT (LoRA/QLoRA)**，仅训练少量参数，冻结底座，兼顾效果与算力。
- **计算策略：** Masking Strategy（仅对 $Output$ 部分计算 Loss）。

**核心能力提升：** * **指令遵循：** 严格执行人设指令。

- **对话连贯性：** 保持多轮对话中的语气一致性与逻辑严密。


## DPO (直接偏好优化 / Direct Preference Optimization)

**定位：** 模型的情感决策与价值观对齐，解决“懂不懂人心”与“讨不讨喜”的问题。

**目标：** 解决 SFT 无法根除的“好坏评价”问题，消除生硬感。

**业务场景：**
- **去“AI味”：** 惩罚正确但扫兴的回复，鼓励有情绪价值的回答。
- **情商博弈：** 在“讲道理”与“给共情”之间，选择更符合人设的感性反馈。
- **三观校准：** 在敏感冲突话题中，选择符合业务调性的立场。
  

**技术实操：**
- **数据：** 二选一偏好对 `(x, y_w, y_l)`。`y_w` 为好的回答，`y_l` 为坏的回答。
  

**核心公式：** 

$$
L_{DPO}(\pi_\theta; \pi_{ref}) = -\mathbb{E}_{(x,y_w,y_l)\sim D}[\log \sigma(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)})]
$$

- **优势：** 无需 Reward Model，复杂度远低于传统的 PPO。
  

**核心能力提升：** * **情感感知 (Empathy)：** 筛选情绪价值最高的答案。

- **判别力：** 内化一套“好坏标准”，交互更具灵性。


## 附：技术栈与执行路径总结 (Roadmap)

| **阶段**     | **核心任务**     | **推荐工具**             | **产出物**           |
| ------------ | ---------------- | ------------------------ | -------------------- |
| **数据清洗** | 处理高质量语料   | Python, Pandas           | 高质量 JSONL 数据集  |
| **框架选择** | 训练核心逻辑实现 | LLaMA-Factory, DeepSpeed | LoRA 权重 / 全量权重 |
| **分布式**   | 算力调度与扩展   | NCLL, FSDP               | 跨节点训练能力       |
| **评估部署** | 性能测试与上线   | vLLM, GGUF, GPT-4 打分   | 对外服务 API         |