Cómo usar ControlNet en Stable Diffusion

ControlNet es una extensión que permite controlar con precisión la composición, pose y estructura de las imágenes generadas en Stable Diffusion. Esta herramienta utiliza imágenes de referencia para guiar el proceso de generación, manteniendo elementos específicos como poses humanas, bordes o profundidad.

1. Instala la extensión ControlNet. Abre Stable Diffusion WebUI y navega a Extensions > Available > Load from. Busca 'sd-webui-controlnet' en la lista e instala la extensión. Reinicia la interfaz web completamente para que los cambios surtan efecto.
2. Prepara tu imagen de referencia. Selecciona una imagen que contenga la estructura o composición que deseas replicar. Esta puede ser una fotografía, un boceto o cualquier imagen que defina claramente las formas, poses o bordes que quieres mantener en tu generación final.
3. Configura el panel de ControlNet. En la interfaz de txt2img o img2img, despliega la sección ControlNet. Marca la casilla 'Enable' para activar la función. Arrastra tu imagen de referencia al área designada o haz clic en el ícono de carpeta para cargarla desde tu dispositivo.
4. Selecciona el preprocesador adecuado. En el menú desplegable 'Preprocessor', elige el tipo que mejor se adapte a tu imagen de referencia. Usa 'canny' para detección de bordes, 'openpose' para poses humanas, 'depth' para información de profundidad, o 'scribble' para bocetos simples.
5. Elige el modelo de ControlNet. En el campo 'Model', selecciona el modelo correspondiente al preprocesador elegido. Los nombres suelen coincidir con el tipo de preprocesador. Asegúrate de que el modelo esté descargado en tu carpeta de modelos de ControlNet.
6. Ajusta la influencia del control. Configura el 'Control Weight' entre 0.5 y 1.5 para determinar qué tan fuerte será la influencia de ControlNet. Un valor de 1.0 es el estándar. Valores más altos aumentan el control pero pueden limitar la creatividad del modelo.
7. Genera la imagen con el prompt. Escribe tu prompt descriptivo en el campo de texto como lo harías normalmente. ControlNet mantendrá la estructura de tu imagen de referencia mientras aplica el estilo y contenido descritos en tu prompt. Haz clic en 'Generate' para crear la imagen.
8. Refina los resultados iterativamente. Revisa la imagen generada y ajusta los parámetros según sea necesario. Modifica el Control Weight, cambia el preprocesador, o ajusta tu prompt para obtener el resultado deseado. Repite el proceso hasta lograr la composición perfecta.