Stable Diffusion WebUI + ControlNet: Anleitung zur Posenreplikation

本文以 Stable Diffusion WebUI(AUTOMATIC1111) Version: v1.10.1 为例，介绍如何安装和使用 ControlNet 实现姿势复制效果。

## ControlNet-Erweiterung installieren

Um die ControlNet-Funktion nutzen zu können, müssen Sie zuerst das entsprechende Plugin installieren. Zuerst stellen wir die einfachste Methode zur Installation des `sd-webui-controlnet`-Plugins vor:

1.  Öffnen Sie den Tab `Extensions`. Im Untertab `Installed` sehen Sie viele bereits installierte Plugins. Wenn `sd-webui-controlnet` nicht dabei ist, haben Sie es noch nicht installiert;
2.  Klicken Sie auf den Untertab `Available`, klicken Sie auf die Schaltfläche `Load from`, um verfügbare Plugins zu laden;
3.  Nach erfolgreichem Laden geben Sie `sd-webui-controlnet` in das Suchfeld ein, um das Plugin zu sehen. Es hat über 17000 Sterne, achten Sie auf die Unterscheidung~ Sobald Sie es gefunden haben, klicken Sie auf `Install`, um die Installation zu starten (chinesische Benutzer sollten während der Installation eine stabile internationale Internetverbindung sicherstellen);
4.  Nach Abschluss der Installation starten Sie den Dienst neu. Sie sollten dann den Tab `ControlNet v1.1.xxx` in den Tabs `text2img`, `img2img` usw. sehen können.

Neben der oben genannten automatischen Installationsmethode können Sie auch manuell installieren, indem Sie zum Github-Repository des Plugins gehen: https://github.com/Mikubill/sd-webui-controlnet und das Repository manuell in den `extensions`-Ordner der WebUI klonen. Der Ordnername ist der Repository-Name, z.B. `extensions/sd-webui-controlnet`. Nach dem manuellen Klonen starten Sie die WebUI einfach neu.

## Modelle herunterladen

Nach der Installation des eigentlichen Plugins ist ControlNet zunächst nur eine „leere Hülle“. Es benötigt noch die Kernmodelldateien (normalerweise mit der Endung `.pth` oder `.safetensors`) sowie die entsprechenden Konfigurationsdateien (mit der Endung `.yaml`), um zu funktionieren.

Da Stable Diffusion zwei gängige zugrunde liegende große Modellarchitekturen hat, **SD 1.5** und **SDXL**, müssen ControlNet-Modelle beim Herunterladen **strikt aufeinander abgestimmt** sein, da sonst im Hintergrund beim Start ein Inkompatibilitätsfehler gemeldet wird (`Exception: ControlNet model ... is not compatible with sd model`).

### 1. Bestimmen Sie Ihre Download-Version

-   **Wenn Sie das SD 1.5 Anime-Großmodell verwenden**: Gehen Sie zum Hugging Face-Repository [lllyasviel/ControlNet-v1-1](https://huggingface.co/lllyasviel/ControlNet-v1-1) und laden Sie `control_v11p_sd15_openpose.pth` und die gleichnamige `.yaml`-Datei herunter.
-   **Wenn Sie das SDXL Anime-Großmodell verwenden**: Gehen Sie zum Hugging Face-Repository [thibaud/controlnet-openpose-sdxl-1.0](https://huggingface.co/thibaud/controlnet-openpose-sdxl-1.0) und laden Sie `OpenPoseXL2.safetensors` (oder `controlnet-openpose-sdxl-1.0.safetensors`) sowie die Konfigurationsdatei `config.json` herunter. *(Hinweis: SDXL-Modelle sind größer, was normal ist).*

### 2. Speicherpfad für Modelle

Legen Sie die heruntergeladenen `.pth` / `.safetensors` Modelldateien und Konfigurationsdateien in den folgenden Pfad: `Ihr_WebUI_Installationsverzeichnis/webui/models/ControlNet/`

Nachdem die Dateien platziert wurden, kehren Sie zur WebUI-Oberfläche zurück und klicken Sie neben dem Dropdown-Menü für Modelle (Model) im ControlNet-Panel auf das **blaue Aktualisierungssymbol 🔄**, um sie zu erkennen. Ein Neustart des gesamten WebUI-Dienstes ist nicht erforderlich.

## Parameterkonfiguration

Nehmen wir als Beispiel die Umwandlung der Pose eines echten Fotos in ein Anime-Bild. Wir müssen den Tab **`ControlNet v1.1.xxx`** unter dem **`img2img` (Bild zu Bild)**-Panel erweitern und die folgenden Kernparameter konfigurieren:

1.  **Grundlegende Aktivierungseinstellungen**:
    -   Aktivieren Sie **`Enable`** (Plugin aktivieren).
    -   Aktivieren Sie **`Pixel Perfect`** (Perfekter Pixelmodus. Dies ermöglicht ControlNet, die Berechnungsgenauigkeit automatisch an die Bildauflösung anzupassen, was die Genauigkeit der Posenerfassung erheblich verbessert).
2.  **Auswahl des Steuerungstyps**:
    -   Klicken Sie im `Control Type`-Optionsfeld auf **`OpenPose`**. Die darunterliegenden Preprozessoren und Modelle werden dann automatisch gefiltert.
3.  **Preprozessor und Modell-Paarung**:
    -   **Preprozessor**: Es wird dringend empfohlen, **`dw_openpose_full`** oder `openpose_full` zu wählen. Diese beiden Preprozessoren sind die Algorithmen mit der derzeit höchsten Erkennungsrate und können gleichzeitig Gelenke des ganzen Körpers, Gesichtsausdrücke und Fingerhaltungen präzise erfassen.
    -   **Modell**: Wählen Sie das im vorherigen Schritt heruntergeladene OpenPose-Modell, das mit der Version Ihres aktuellen SD-Hauptmodells oben links übereinstimmt (für SD 1.5 wählen Sie `v11p_sd15_openpose`, für SDXL wählen Sie `OpenPoseXL2`).
4.  **Steuerungsmodus (Control Mode) und Gewichtung**:
    -   **Control Weight (Steuerungsgewicht)**: Standardmäßig `1`. Wenn Sie feststellen, dass das generierte Anime-Bildmodell „zu eigenständig“ ist und die Pose verzerrt, können Sie das Gewicht auf **`1.4 - 1.6`** erhöhen.
    -   **Control Mode**: Standardmäßig `Balanced` (Ausgeglichen). Wenn die Posenwiederherstellung immer noch nicht ideal ist, können Sie **`ControlNet is more important`** (ControlNet ist wichtiger) aktivieren, um das große Modell zu zwingen, dem Posen-Skelett zu folgen.

## Bilder generieren und Fehlerbehebung

Nach Abschluss der Parameterkonfiguration fügen Sie dem positiven Prompt oben Anime-Stilwörter hinzu (z.B. `masterpiece, best quality, vibrant anime style, 2D`), dem negativen Prompt `realistic, photographic`, und klicken Sie dann auf **`Generate`**, um die Generierung zu starten.

In der neuen ControlNet-Oberfläche der WebUI müssen Sie nicht im Voraus nach dem „Explosionssymbol“ suchen, um das Skelett zu generieren. Nach dem Klicken auf `Generate` läuft ControlNet automatisch im Hintergrund. Nach Abschluss der Generierung zeigt der Ergebnisbereich auf der rechten Seite nicht nur das konvertierte Anime-Bild an, sondern auch ein **farbiges Skelettbild auf schwarzem Hintergrund** (OpenPose-Skelettbild).

**Tipp: Die Bildqualität hängt auch stark vom Hauptmodell ab. Es wird empfohlen, die neuesten Modelle zu wählen, wie z.B. `plantMilk` und `waiIllustrious` im Anime-Bereich.**