Leitfaden zum Modelltraining eins: Einführung in drei Trainingsmethoden

Dieser Artikel stellt die drei Kernentwicklungsphasen von Large Language Models (LLMs) vor, von einer generischen Basis hin zu vertikalen Anwendungsbereichen: PT (inkrementelles Vortraining), SFT (überwachtes Fein-Tuning) und DPO (Direct Preference Optimization).

- PT (Wissensinjektion): Konzentriert sich auf die Aufnahme von Domänenwissen und Sprachverteilung, um die "Wissensbasis" des Modells aufzubauen und die Frage zu beantworten: "Weiß es?".
- SFT (Verhaltensanpassung): Durch Instruction Following Training und Persönlichkeitsgestaltung werden die Interaktionslogiken des Modells standardisiert und die Frage beantwortet: "Folgt es Anweisungen?".
- DPO (Wertausrichtung): Nutzt Preference Learning, um emotionale Entscheidungsfindung zu optimieren, "KI-Geschmack" zu eliminieren und den emotionalen Intelligenzquotienten zu erhöhen, und beantwortet die Frage: "Ist es sympathisch?".

## PT (Inkrementelles Vortraining / Continual Pre-training)

**Positionierung:** Aufbau der Wissensbasis des Modells, Lösung des Problems: "Weiß es?".
**Ziel:** Erlernen von "neuem Wissen" oder "Sprachverteilung" in einem bestimmten Bereich.
**Anwendungsfälle:**
- **Wissensinjektion:** Einspeisen von Werken der Psychologie, Anime-Enzyklopädien usw., um eine "erfahrene Beratungspersönlichkeit" oder eine "Anime-Mädchenpersönlichkeit" zu schaffen.
- **Sprachgewohnheiten:** Vertrautheit mit Fachjargon, Dialekten oder einem bestimmten kulturellen Hintergrund (z. B. Daten von Social-Media-Plattformen).
**Technische Umsetzung:**
- **Daten:** Riesige Mengen an reinem Text (Raw Text), keine Frage-Antwort-Paare erforderlich.
- **Loss-Funktion:** `CrossEntropyLoss` in autoregressiven Aufgaben.
- **Schlüsselparameter:** Extrem niedrige Lernrate ( `le 10^{-5}` ), um die ursprüngliche generische Logik nicht zu zerstören.
**Verbesserte Kernfähigkeiten:**
- **Tiefe des Verständnisses:** Reduzierung von Fehlinterpretationen von Fachbegriffen.
- **Vokabularverteilung:** Vorhersagewahrscheinlichkeiten, die näher an den Sprechgewohnheiten der Zielgruppe liegen (z. B. in Begleitszenarien).

## SFT (Überwachtes Fein-Tuning / Supervised Fine-Tuning)

**Positionierung:** Verhaltensstandardisierung und Persönlichkeitsgestaltung des Modells, Lösung des Problems: "Wirkt es menschlich?" und "Folgt es Anweisungen?".
**Ziel:** Erlernen von "Instruction Following" und Dialogformaten.
**Anwendungsfälle:**
- **Persönlichkeitsgestaltung:** Trainieren des Modells, um in einem bestimmten Ton (sanft, humorvoll, bissig) zu sprechen.
- **Interaktionsanpassung:** Umwandlung roboterhafter "Gliederungs"-Antworten in natürliche, umgangssprachliche Mehrfachgespräche.
- **Funktionsauslösung:** Erlernen der Ausführung von Aktionen in einem bestimmten Kontext (z. B. Trost spenden, bestimmte Befehle auslösen).
**Technische Umsetzung:**
- **Daten:** `Instruction + Input + Output` Tripel-Frage-Antwort-Paare (JSONL-Format).
- **Mainstream-Methoden:** **PEFT (LoRA/QLoRA)**, nur wenige Parameter trainieren, die Basis einfrieren, um sowohl Effektivität als auch Rechenleistung zu berücksichtigen.
- **Berechnungsstrategie:** Masking Strategy (Berechnung des Loss nur für den $Output$-Teil).
**Verbesserte Kernfähigkeiten:**
* **Instruction Following:** Strikte Ausführung von Persönlichkeitsanweisungen.
- **Dialogkohärenz:** Aufrechterhaltung der Tonkonsistenz und logischen Stringenz in Mehrfachgesprächen.

## DPO (Direct Preference Optimization / Direkte Präferenzoptimierung)

**Positionierung:** Emotionale Entscheidungsfindung und Wertausrichtung des Modells, Lösung des Problems: "Versteht es menschliche Gefühle?" und "Ist es sympathisch?".
**Ziel:** Lösung des Problems der "gut-schlecht"-Bewertungen, das SFT nicht vollständig beseitigen kann, und Beseitigung von Steifheit.
**Anwendungsfälle:**
- **Beseitigung von "KI-Geschmack":** Bestrafung korrekter, aber enttäuschender Antworten, Förderung von Antworten mit emotionalem Wert.
- **Emotionale Intelligenz:** Auswahl einer emotionaleren Reaktion, die besser zur Persönlichkeit passt, zwischen "Vernunft" und "Empathie".
- **Wertekalibrierung:** Auswahl einer Position, die zur Geschäftsphilosophie passt, in sensiblen Konfliktthemen.
**Technische Umsetzung:**
- **Daten:** Zwei-aus-eins-Präferenzpaare `(x, y_w, y_l)`. `y_w` ist die bessere Antwort, `y_l` ist die schlechtere Antwort.
**Kernformel:**
$$ L_{DPO}(\pi_\theta; \pi_{ref}) = -\mathbb{E}_{(x,y_w,y_l)\sim D}[\log \sigma(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)})] $$
- **Vorteile:** Keine Reward Model erforderlich, Komplexität deutlich geringer als bei traditionellem PPO.
**Verbesserte Kernfähigkeiten:**
* **Emotionale Wahrnehmung (Empathy):** Auswahl der Antwort mit dem höchsten emotionalen Wert.
- **Urteilsvermögen:** Verinnerlichung eines "gut-schlecht"-Standards, Interaktion ist intuitiver.

## Anhang: Zusammenfassung der technischen Architektur und des Ausführungspfads (Roadmap)

| **Phase** | **Kernaufgabe** | **Empfohlene Tools** | **Ergebnis** |
| ------------ | ---------------- | ------------------------ | -------------------- |
| **Datenbereinigung** | Verarbeitung hochwertiger Korpora | Python, Pandas | Hochwertiger JSONL-Datensatz |
| **Framework-Auswahl** | Implementierung der Kernlogik des Trainings | LLaMA-Factory, DeepSpeed | LoRA-Gewichte / Vollständige Gewichte |
| **Verteiltes Rechnen** | Ressourcenplanung und -erweiterung | NCLL, FSDP | Fähigkeit zum Training über Knoten hinweg |
| **Bewertung und Bereitstellung** | Leistungstests und Online-Schaltung | vLLM, GGUF, GPT-4-Bewertung | API für externe Dienste |