Como usar o ControlNet do Stable Diffusion

O ControlNet permite controlar com precisão a composição e estrutura das imagens geradas pelo Stable Diffusion. Esta extensão usa imagens de referência ou mapas de controle para guiar o processo de geração, garantindo que elementos específicos como poses, bordas ou profundidade sejam preservados.

1. Instale a extensão ControlNet no AUTOMATIC1111. Abra a interface web do AUTOMATIC1111 e navegue até Extensions > Available. Procure por 'sd-webui-controlnet' na lista ou cole a URL do repositório https://github.com/Mikubill/sd-webui-controlnet.git na aba Install from URL. Clique em Install e reinicie completamente a interface.
2. Baixe os modelos ControlNet necessários. Acesse a pasta webui/models/ControlNet e baixe os modelos específicos para seu caso de uso. Para poses humanas, use o canny_v1.1.safetensors. Para preservar estruturas arquitetônicas, baixe o depth_v1.1.safetensors. Os modelos possuem aproximadamente 1.4GB cada.
3. Configure a imagem de controle. Na seção ControlNet da interface, clique em Enable e faça upload da sua imagem de referência. Selecione o preprocessor correspondente ao tipo de controle desejado (Canny para bordas, OpenPose para poses, Depth para profundidade). Defina o Control Weight entre 0.8 e 1.2 para máximo controle.
4. Selecione o modelo ControlNet apropriado. No dropdown Model, escolha o modelo que corresponde ao seu preprocessor. Para Canny, use control_canny. Para OpenPose, selecione control_openpose. Certifique-se de que o modelo está carregado corretamente verificando se não há mensagens de erro no console.
5. Ajuste os parâmetros de controle. Configure o Control Mode como Balanced para uso geral. Ajuste o Starting Control Step para 0.0 e Ending Control Step para 1.0 para controle durante todo o processo. Para ajuste fino, modifique o Guidance Start e Guidance End entre 0.0 e 1.0 conforme necessário.
6. Escreva o prompt e gere a imagem. Digite seu prompt normalmente no campo de texto, descrevendo o estilo, iluminação e detalhes desejados. Mantenha o ControlNet habilitado e clique em Generate. O sistema processará primeiro a imagem de controle, depois gerará a nova imagem seguindo tanto o prompt quanto as restrições estruturais.
7. Refine os resultados ajustando pesos. Se a imagem não atender às expectativas, ajuste o Control Weight. Valores mais baixos (0.5-0.7) dão mais liberdade criativa, enquanto valores altos (1.0-1.5) mantêm controle rígido. Experimente diferentes combinações de preprocessadores para efeitos únicos.