モデル学習ガイド1：3つの学習方法の紹介

大言語モデル（LLM）が汎用基盤から垂直領域アプリケーションへ向かうための3つの主要な進化段階：PT（増分事前学習）、SFT（教師ありファインチューニング）、およびDPO（直接的嗜好最適化）。

- PT (知識注入)： 領域知識と言語分布の吸収に重点を置き、モデルの「知識基盤」を構築し、「知っているかどうか」という問題を解決します。
- SFT (行動アライメント)： 指令追従訓練と人格形成を通じて、モデルのインタラクションロジックを標準化し、「指示に従うかどうか」という問題を解決します。
- DPO (価値アライメント)： 嗜好学習を活用して感情的な意思決定を最適化し、「AIらしさ」を排除し、EQを高め、「好かれるかどうか」という問題を解決します。

## PT (増分事前学習 / Continual Pre-training)

**ポジショニング：** モデルの知識基盤の構築、解決「知っているかどうか」という問題。
**目標：** 特定の領域の「新しい知識」または「言語分布」を学習します。
**ビジネスシナリオ：**
- **知識注入：** 心理学の著作、アニメ百科事典などのコーパスを投入し、「ベテランカウンセラー」または「二次元少女」のペルソナを作成します。
- **言語習慣：** 業界の隠語、方言、または特定の文化的背景（ソーシャルプラットフォームのコーパスなど）に慣れ親しみます。
**技術的な実践：**
- **データ：** 大量のプレーンテキスト（Raw Text）、質問応答ペアは不要です。
- **Loss関数：** 自己回帰タスクにおける `CrossEntropyLoss`。
- **重要なパラメータ：** 学習率は非常に低い（ `le 10^{-5}` ）、既存の汎用ロジックを破壊しないようにします。
**コア能力の向上：**
- **理解力の深さ：** 専門用語の誤解を減らします。
- **語彙分布：** 予測確率をターゲットオーディエンス（コンパニオンシーンなど）の話し方に近づけます。

## SFT (教師ありファインチューニング / Supervised Fine-Tuning)

**ポジショニング：** モデルの行動規範と人格形成、解決「人間らしいかどうか」と「指示に従うかどうか」という問題。
**目標：** 「指示追従」と対話形式を学習します。
**ビジネスシナリオ：**
- **人格形成：** モデルを特定のトーン（穏やか、ユーモラス、辛辣）で話すように訓練します。
- **インタラクションアライメント：** ロボットのような「アウトライン作成」の回答を、自然で口語的な多段階コミュニケーションに変換します。
- **機能トリガー：** 特定のコンテキストでアクションを実行するように学習します（慰めを提供する、特定の指示をトリガーするなど）。
**技術的な実践：**
- **データ：** `Instruction + Input + Output` 三元組の質問応答ペア（JSONL形式）。
- **主流の方法：** **PEFT (LoRA/QLoRA)**、少数のパラメータのみを訓練し、基盤を固定し、効果と計算能力のバランスを取ります。
- **計算戦略：** Masking Strategy（`$Output$` 部分のみに Loss を計算します）。
**コア能力の向上：**
* **指示追従：** ペルソナの指示を厳密に実行します。
- **対話の一貫性：** 多段階対話におけるトーンの一貫性と論理的な厳密さを維持します。

## DPO (直接的嗜好最適化 / Direct Preference Optimization)

**ポジショニング：** モデルの感情的な意思決定と価値観のアライメント、解決「人の心を理解しているかどうか」と「好かれるかどうか」という問題。
**目標：** SFT では根絶できない「良い悪い評価」の問題を解決し、ぎこちなさを排除します。
**ビジネスシナリオ：**
- **「AIらしさ」の排除：** 正しいが興ざめな応答を罰し、感情的な価値のある応答を奨励します。
- **EQのゲーム：** 「道理を説く」と「共感を与える」の間で、ペルソナにより適した感情的なフィードバックを選択します。
- **価値観の調整：** 敏感な対立的なトピックにおいて、ビジネスの調性に合った立場を選択します。
**技術的な実践：**
- **データ：** 二者択一の嗜好ペア `(x, y_w, y_l)`。`y_w` は良い回答、`y_l` は悪い回答です。
**コア公式：**
$$ L_{DPO}(\pi_\theta; \pi_{ref}) = -\mathbb{E}_{(x,y_w,y_l)\sim D}[\log \sigma(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)})] $$
- **利点：** Reward Model は不要で、従来の PPO よりも複雑さが大幅に低くなります。
**コア能力の向上：**
* **感情的知覚 (Empathy)：** 感情的な価値が最も高い回答をフィルタリングします。
- **識別力：** 「良い悪い基準」を内面化し、より機知に富んだインタラクションを実現します。

## 補足：技術スタックと実行パスのまとめ (Roadmap)

| **段階** | **コアタスク** | **推奨ツール** | **成果物** |
| ------------ | ---------------- | ------------------------ | -------------------- |
| **データクレンジング** | 高品質なコーパスを処理 | Python, Pandas | 高品質な JSONL データセット |
| **フレームワーク選択** | 訓練のコアロジックの実装 | LLaMA-Factory, DeepSpeed | LoRA 权重 / 全量权重 |
| **分散処理** | 計算能力のスケジュールと拡張 | NCLL, FSDP | ノード間の訓練能力 |
| **評価デプロイ** | パフォーマンスのテストとオンライン化 | vLLM, GGUF, GPT-4 スコアリング | 外部サービス API |