Comment utiliser ControlNet avec Stable Diffusion

ControlNet révolutionne la génération d'images avec Stable Diffusion en permettant un contrôle précis de la composition, des poses et des structures. Cette extension transforme vos esquisses, photos de référence ou cartes de profondeur en guides directionnels pour l'IA.

1. Installez l'extension ControlNet dans AUTOMATIC1111. Ouvrez l'interface web de AUTOMATIC1111. Cliquez sur l'onglet Extensions, puis Install from URL. Collez l'URL du dépôt ControlNet : https://github.com/Mikubill/sd-webui-controlnet.git. Cliquez sur Install puis redémarrez l'interface complètement.
2. Téléchargez les modèles ControlNet nécessaires. Rendez-vous dans le dossier models/ControlNet de votre installation AUTOMATIC1111. Téléchargez les modèles .pth depuis Hugging Face : control_v11p_sd15_canny pour la détection de contours, control_v11p_sd15_openpose pour les poses humaines, et control_v11f1p_sd15_depth pour la profondeur. Placez ces fichiers dans le dossier ControlNet.
3. Activez ControlNet dans l'interface de génération. Dans l'onglet txt2img ou img2img, faites défiler jusqu'à la section ControlNet. Cochez Enable pour activer l'extension. L'interface ControlNet apparaît avec les options de téléchargement d'image, de sélection de préprocesseur et de modèle.
4. Chargez votre image de référence. Cliquez sur la zone de téléchargement dans la section ControlNet et sélectionnez votre image de référence. Cette image peut être une photo, un croquis, une pose de référence ou toute image dont vous voulez extraire la structure. L'image s'affiche immédiatement dans l'interface.
5. Sélectionnez le préprocesseur approprié. Dans le menu déroulant Preprocessor, choisissez la méthode d'analyse : canny pour détecter les contours, openpose pour identifier les poses humaines, ou depth_midas pour analyser la profondeur. Cliquez sur le bouton de prévisualisation pour voir le résultat du traitement sur votre image.
6. Configurez le modèle ControlNet correspondant. Dans le menu Model, sélectionnez le modèle qui correspond à votre préprocesseur : control_v11p_sd15_canny pour les contours, control_v11p_sd15_openpose pour les poses, ou control_v11f1p_sd15_depth pour la profondeur. Ajustez le Control Weight entre 0.5 et 1.5 selon l'influence désirée.
7. Rédigez votre prompt et générez l'image. Saisissez votre prompt de génération dans la zone de texte habituelle. ControlNet utilisera votre image de référence comme guide structurel tout en suivant les instructions textuelles. Cliquez sur Generate pour créer l'image contrôlée.