ControlNet in Stable Diffusion verwenden

ControlNet erweitert Stable Diffusion um präzise Kontrolle über Bildkomposition und -struktur. Mit dieser Technik bestimmen Sie exakt, wo Objekte erscheinen und wie das finale Bild aufgebaut ist, anstatt nur auf Textprompts zu vertrauen.

1. Automatic1111 WebUI mit ControlNet-Extension installieren. Öffnen Sie das Extensions-Tab in der Automatic1111 WebUI. Klicken Sie auf 'Install from URL' und fügen Sie die URL 'https://github.com/Mikubill/sd-webui-controlnet' ein. Klicken Sie 'Install' und starten Sie die WebUI neu.
2. ControlNet-Modell herunterladen. Navigieren Sie zu Hugging Face und laden Sie ein ControlNet-Modell herunter, beispielsweise 'control_v11p_sd15_canny.pth' für Kantenerkennung. Speichern Sie die .pth-Datei im Ordner 'models/ControlNet' Ihrer Stable Diffusion Installation.
3. Eingabebild vorbereiten. Erstellen Sie ein Referenzbild oder wählen Sie ein vorhandenes Bild aus. Das Bild sollte klare Strukturen, Konturen oder Posen enthalten, die ControlNet als Vorlage nutzen kann. Speichern Sie es in einem leicht zugänglichen Ordner.
4. ControlNet in der WebUI aktivieren. Scrollen Sie in der txt2img-Sektion nach unten zum ControlNet-Bereich. Aktivieren Sie die Checkbox 'Enable'. Laden Sie Ihr Eingabebild hoch, indem Sie auf das Bildfeld klicken oder die Datei hineinziehen.
5. Preprocessor und Modell auswählen. Wählen Sie im 'Preprocessor'-Dropdown den passenden Vorverarbeiter aus, beispielsweise 'canny' für Kantenerkennung. Wählen Sie im 'Model'-Dropdown das entsprechende ControlNet-Modell, das Sie in Schritt 2 heruntergeladen haben.
6. Control Weight und Guidance anpassen. Stellen Sie 'Control Weight' auf einen Wert zwischen 0.7 und 1.2 ein - höhere Werte bedeuten stärkere Kontrolle durch das Eingabebild. Belassen Sie 'Starting Control Step' bei 0 und 'Ending Control Step' bei 1 für vollständige Kontrolle während der gesamten Generierung.
7. Prompt eingeben und Bild generieren. Geben Sie Ihren gewünschten Prompt in das Textfeld ein, der beschreibt, was Sie generieren möchten. Klicken Sie auf 'Generate', um das Bild zu erstellen. ControlNet wird die Struktur Ihres Eingabebilds respektieren, während der Prompt den Stil und Inhalt bestimmt.