Guía para la replicación de poses con Stable Diffusion WebUI + ControlNet

Este artículo toma como ejemplo Stable Diffusion WebUI (AUTOMATIC1111) Versión: v1.10.1 para presentar cómo instalar y usar ControlNet para lograr el efecto de copia de poses.

## Instalación de la extensión ControlNet

Para usar la función ControlNet, primero debe instalar el complemento correspondiente. Primero, presentamos el método de instalación más simple del complemento `sd-webui-controlnet`:

1. Abra la pestaña `Extensions` y, en la subpestaña `Installed`, puede ver muchos complementos instalados. Si `sd-webui-controlnet` no está allí, significa que aún no lo ha instalado.
2. Haga clic para abrir la subpestaña `Available` y haga clic en el botón `Load from` para cargar los complementos disponibles.
3. Después de que la carga sea exitosa, ingrese `sd-webui-controlnet` en el cuadro de entrada de búsqueda para ver el complemento. El número de estrellas es 17000+, ¡tenga cuidado al identificarlo! Haga clic en `Install` después de encontrarlo para comenzar la instalación (los usuarios chinos deben mantener la red internacional sin obstáculos durante la instalación).
4. Después de la instalación, reinicie el servicio y podrá ver la pestaña `ControlNet v1.1.xxx` en las pestañas `text2img`, `img2img`, etc.

Además del método de instalación automática anterior, también puede instalarlo manualmente. Vaya al repositorio de Github del complemento: https://github.com/Mikubill/sd-webui-controlnet y clone manualmente el repositorio en la carpeta `extensions` de WebUI. El nombre de la carpeta es el nombre del repositorio, por ejemplo, `extensions/sd-webui-controlnet`. Después de clonar manualmente, reinicie webui.

## Descargar modelos

Después de instalar el cuerpo del complemento, ControlNet es solo una "carcasa vacía". Todavía necesita archivos de modelo centrales (generalmente con extensiones `.pth` o `.safetensors`) y los archivos de configuración correspondientes (con extensión `.yaml`) para funcionar.

Dado que Stable Diffusion tiene dos arquitecturas de modelos base principales, **SD 1.5** y **SDXL**, debe **emparejarlos estrictamente** al descargar modelos ControlNet, de lo contrario, el backend informará un error de incompatibilidad al iniciar (`Exception: ControlNet model ... is not compatible with sd model`).

### 1. Determinar su versión de descarga

- **Si usa el modelo base de anime SD 1.5**: Vaya al repositorio [lllyasvil/ControlNet-v1-1](https://huggingface.co/lllyasviel/ControlNet-v1-1) de Hugging Face y descargue `control_v11p_sd15_openpose.pth` y el archivo `.yaml` con el mismo nombre.
- **Si usa el modelo base de anime SDXL**: Vaya al repositorio [thibaud/controlnet-openpose-sdxl-1.0](https://huggingface.co/thibaud/controlnet-openpose-sdxl-1.0) de Hugging Face y descargue `OpenPoseXL2.safetensors` (o `controlnet-openpose-sdxl-1.0.safetensors`), y descargue el archivo de configuración `config.json`. * (Nota: El tamaño del modelo SDXL es grande, lo cual es normal).*

### 2. Ruta de almacenamiento del modelo

Coloque los archivos de modelo `.pth` / `.safetensors` descargados y los archivos de configuración en la siguiente ruta: `Tu directorio de instalación de WebUI/webui/models/ControlNet/`

Después de colocar los archivos, regrese a la interfaz de WebUI, haga clic en el **icono de actualización azul 🔄** junto al menú desplegable del modelo (Model) en el panel de ControlNet para reconocerlo, sin necesidad de reiniciar todo el servicio WebUI.

## Configuración de parámetros

Tomando como ejemplo la conversión de la pose de una foto real a una imagen de anime, necesitamos expandir la pestaña `ControlNet v1.1.xxx` debajo del panel **`img2img` (imagen a imagen)** y realizar la siguiente configuración de parámetros clave:

1. **Configuración básica de habilitación**:
   - Marque `Enable` (Habilitar complemento).
   - Marque `Pixel Perfect` (Modo de píxel perfecto. Esto permite que ControlNet ajuste automáticamente la precisión del cálculo según la resolución de la imagen, mejorando en gran medida la precisión de la captura de poses).
2. **Selección del tipo de control**:
   - Haga clic en `OpenPose` en el cuadro de opción `Control Type`. Los preprocesadores y modelos a continuación se filtrarán automáticamente.
3. **Emparejamiento de preprocesador (Preprocessor) y modelo (Model)**:
   - **Preprocessor**: Se recomienda encarecidamente seleccionar `dw_openpose_full` o `openpose_full`. Estos dos preprocesadores son los algoritmos con la tasa de reconocimiento más alta en la actualidad, y pueden capturar con precisión las articulaciones de todo el cuerpo, las expresiones faciales y las poses de los dedos al mismo tiempo.
   - **Model**: Seleccione el modelo OpenPose que descargó en el paso anterior y que coincide con la versión del modelo base SD principal en la esquina superior izquierda (seleccione `v11p_sd15_openpose` para SD 1.5, `OpenPoseXL2` para SDXL).
4. **Modo de control (Control Mode) y peso**:
   - **Control Weight (Peso de control)**: El valor predeterminado es `1`. Si descubre que el modelo base de la imagen de anime generada tiene "demasiada iniciativa" y la pose se distorsiona, puede aumentar el peso a **`1.4 - 1.6`**.
   - **Control Mode**: El valor predeterminado es `Balanced` (Equilibrado). Si la fidelidad de la pose aún no es ideal, puede marcar `ControlNet is more important` (ControlNet es más importante) para forzar al modelo base a obedecer el esqueleto de la pose.

## Generación de imágenes y solución de problemas

Después de configurar los parámetros, agregue palabras clave de estilo anime (como `masterpiece, best quality, vibrant anime style, 2D`) en el prompt positivo superior y `realistic, photographic` en el prompt negativo, y luego haga clic en **`Generate`** para comenzar a generar.

En la nueva versión de la interfaz ControlNet de WebUI, no necesita encontrar el "icono de explosión" para generar el esqueleto con anticipación. Después de hacer clic en `Generate`, ControlNet se ejecutará automáticamente en segundo plano. Después de la generación, el área de visualización de resultados en el lado derecho no solo mostrará la imagen de anime convertida, sino que también vendrá con una **imagen de esqueleto en color sobre fondo negro** (imagen de esqueleto OpenPose).

**Pequeño consejo: el efecto de la imagen generada también está muy relacionado con el modelo principal. Se recomienda elegir los modelos más recientes, como `plantMilk` y `waiIllustrious` en el campo del anime.**