Como usar ControlNet para arte com IA

ControlNet é uma extensão do Stable Diffusion que permite controle preciso sobre a geração de imagens através de condicionamentos visuais. Esta ferramenta usa imagens de referência para guiar a pose, composição e estrutura das imagens geradas pela IA.

1. Instale a extensão ControlNet no Automatic1111. Abra a interface web do Stable Diffusion Automatic1111. Vá em Extensions > Available > Load from. Procure por 'sd-webui-controlnet' na lista e clique em Install. Reinicie a interface completamente após a instalação.
2. Baixe os modelos ControlNet necessários. Acesse o repositório oficial do ControlNet no Hugging Face. Baixe os arquivos .pth ou .safetensors dos modelos que deseja usar (OpenPose, Canny, Depth, etc.). Coloque os arquivos na pasta extensions/sd-webui-controlnet/models do seu Stable Diffusion.
3. Prepare sua imagem de referência. Escolha ou crie uma imagem que servirá como guia para o ControlNet. A imagem pode ser uma foto, desenho ou esboço. Certifique-se de que a resolução seja compatível com o modelo (geralmente 512x512 ou 768x768 para SD 1.5).
4. Configure o ControlNet na interface. Na interface do txt2img ou img2img, encontre a seção ControlNet (geralmente na parte inferior). Clique para expandir. Marque a opção 'Enable'. Faça upload da sua imagem de referência no campo 'Image'.
5. Selecione o preprocessador e modelo. No dropdown 'Preprocessor', escolha o tipo apropriado (openpose, canny, depth_midas, etc.). No dropdown 'Model', selecione o modelo ControlNet correspondente. Certifique-se de que preprocessador e modelo sejam compatíveis.
6. Ajuste o peso e modo de controle. Configure o 'Control Weight' entre 0.5 e 1.5 (1.0 é padrão). Valores menores dão mais liberdade criativa, maiores seguem mais fielmente a referência. Deixe 'Control Mode' como 'Balanced' para uso geral.
7. Escreva o prompt e gere a imagem. Digite seu prompt normalmente no campo de texto. O ControlNet trabalhará em conjunto com o prompt para gerar a imagem seguindo a estrutura da referência. Clique em Generate para criar a imagem.