Guía de entrenamiento de modelos 1: Introducción a tres métodos de entrenamiento

Este artículo presentará las tres etapas principales de la evolución de los modelos de lenguaje grandes (LLM) desde una base general hasta aplicaciones en dominios verticales: PT (preentrenamiento incremental), SFT (ajuste fino supervisado) y DPO (optimización directa de preferencias).

- PT (Inyección de conocimiento): Se centra en la absorción de conocimiento del dominio y la distribución del lenguaje, construyendo la "base de conocimiento" del modelo y resolviendo el problema de "¿sabe o no sabe?".
- SFT (Alineación del comportamiento): A través del entrenamiento de seguimiento de instrucciones y la formación de la personalidad, se normaliza la lógica de interacción del modelo, resolviendo el problema de "¿obedece o no?".
- DPO (Alineación de valores): Utiliza el aprendizaje de preferencias para optimizar la toma de decisiones emocionales, eliminar el "sabor a IA" y mejorar el coeficiente intelectual emocional, resolviendo el problema de "¿es agradable o no?".

## PT (Preentrenamiento incremental / Continual Pre-training)

**Posicionamiento:** Construcción de la base de conocimiento del modelo, resolviendo el problema de "¿sabe o no sabe?".
**Objetivo:** Aprender "nuevo conocimiento" o "distribución del lenguaje" específico del dominio.
**Escenarios de negocio:**
- **Inyección de conocimiento:** Alimentar con corpus de obras de psicología, enciclopedias de anime, etc., para crear personajes de "consultor senior" o "chica de anime".
- **Hábitos lingüísticos:** Familiarizarse con la jerga de la industria, dialectos o contextos culturales específicos (como corpus de plataformas sociales).
**Implementación técnica:**
- **Datos:** Gran cantidad de texto plano (Raw Text), sin necesidad de pares de preguntas y respuestas.
- **Función de pérdida:** `CrossEntropyLoss` en tareas autorregresivas.
- **Parámetros clave:** Tasa de aprendizaje extremadamente baja (`le 10^{-5}`), para evitar dañar la lógica general original.
**Mejora de las capacidades principales:**
- **Profundidad de comprensión:** Reducir la mala interpretación de términos técnicos.
- **Distribución del vocabulario:** La probabilidad de predicción se acerca más a los hábitos de habla del grupo objetivo (como en escenarios de compañía).

## SFT (Ajuste fino supervisado / Supervised Fine-Tuning)

**Posicionamiento:** Formación del comportamiento del modelo y formación de la personalidad, resolviendo el problema de "¿se parece a una persona?" y "¿obedece o no?".
**Objetivo:** Aprender "seguimiento de instrucciones" y formato de diálogo.
**Escenarios de negocio:**
- **Formación de la personalidad:** Entrenar al modelo para hablar con un tono específico (suave, humorístico, mordaz).
- **Alineación de la interacción:** Transformar las respuestas robóticas de "crear un esquema" en una comunicación natural y coloquial de múltiples rondas.
- **Activación de funciones:** Aprender a ejecutar acciones en contextos específicos (como brindar consuelo, activar instrucciones específicas).
**Implementación técnica:**
- **Datos:** Triples `Instruction + Input + Output` de preguntas y respuestas (formato JSONL).
- **Métodos principales:** **PEFT (LoRA/QLoRA)**, entrenando solo una pequeña cantidad de parámetros, congelando la base, equilibrando el efecto y la potencia computacional.
- **Estrategia de cálculo:** Estrategia de enmascaramiento (cálculo de la pérdida solo en la parte de `$Output$`).
**Mejora de las capacidades principales:**
* **Seguimiento de instrucciones:** Ejecutar estrictamente las instrucciones del personaje.
- **Coherencia del diálogo:** Mantener la consistencia del tono y la lógica en el diálogo de múltiples rondas.

## DPO (Optimización directa de preferencias / Direct Preference Optimization)

**Posicionamiento:** Toma de decisiones emocionales del modelo y alineación de valores, resolviendo el problema de "¿entiende los sentimientos de las personas?" y "¿es agradable o no?".
**Objetivo:** Resolver el problema de la "evaluación buena/mala" que SFT no puede erradicar, eliminando la rigidez.
**Escenarios de negocio:**
- **Eliminar el "sabor a IA":** Penalizar las respuestas correctas pero desalentadoras, fomentar las respuestas con valor emocional.
- **Juego de coeficiente intelectual emocional:** Entre "dar una lección" y "mostrar empatía", elegir la respuesta emocional que mejor se adapte al personaje.
- **Calibración de valores:** En temas sensibles y conflictivos, elegir la postura que se ajuste al tono del negocio.
**Implementación técnica:**
- **Datos:** Pares de preferencias de elección binaria `(x, y_w, y_l)`. `y_w` es la respuesta buena, `y_l` es la respuesta mala.
**Fórmula central:**
$$ L_{DPO}(\pi_\theta; \pi_{ref}) = -\mathbb{E}_{(x,y_w,y_l)\sim D}[\log \sigma(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)})] $$
- **Ventajas:** No requiere Modelo de Recompensa, la complejidad es mucho menor que la del PPO tradicional.
**Mejora de las capacidades principales:**
* **Percepción emocional (Empathy):** Filtrar las respuestas con el valor emocional más alto.
- **Capacidad de juicio:** Internalizar un conjunto de "estándares buenos/malos", la interacción es más inteligente.

## Anexo: Resumen de la pila tecnológica y la ruta de ejecución (Roadmap)

| **Etapa** | **Tarea principal** | **Herramientas recomendadas** | **Producto** |
| ------------ | ---------------- | ------------------------ | -------------------- |
| **Limpieza de datos** | Procesamiento de corpus de alta calidad | Python, Pandas | Conjunto de datos JSONL de alta calidad |
| **Selección del framework** | Implementación de la lógica de entrenamiento principal | LLaMA-Factory, DeepSpeed | Pesos LoRA / Pesos completos |
| **Distribución** | Programación y expansión de la potencia computacional | NCLL, FSDP | Capacidad de entrenamiento entre nodos |
| **Evaluación e implementación** | Pruebas de rendimiento y puesta en marcha | vLLM, GGUF, Puntuación GPT-4 | API de servicio externo |