Stable Diffusion Webgpu

A demonstração do Stable Diffusion WebGPU é uma ferramenta online útil que ajuda você a gerar imagens com facilidade usando apenas seu navegador.

Este aplicativo web é construído sobre o framework create-react-app e depende do JavaScript para funcionar. Para começar, certifique-se de que você está usando a versão mais recente do Chrome e que o JavaScript está habilitado. Você também precisará ativar algumas funcionalidades experimentais: "WebAssembly Experimental" e "Integração de Promessa JavaScript WebAssembly Experimental (JSPI)" nas configurações do seu navegador.

Uma vez que você esteja tudo configurado, esta ferramenta gera imagens através de uma série de etapas. Cada etapa leva cerca de um minuto, com mais 10 segundos necessários para o decodificador VAE completar a imagem. Apenas um aviso—se você tiver as DevTools abertas enquanto executa o aplicativo, isso pode desacelerar tudo em cerca de duas vezes mais!

O modelo UNET, que faz o trabalho pesado de criar suas imagens, opera na CPU. Essa escolha é feita para melhor desempenho e resultados mais precisos em comparação com a execução na GPU. É recomendado passar por pelo menos 20 etapas para resultados decentes, mas se você estiver apenas testando, 3 etapas serão suficientes.

Este aplicativo possui uma interface amigável que permite carregar facilmente o modelo, iniciar a geração de imagens e visualizar os resultados. Se você encontrar algum problema ao usá-lo, não se preocupe; há uma seção de FAQ com dicas de solução de problemas para ajudar você.

Tenha em mente que, embora utilize uma GPU, a implementação do WebGPU no onnxruntime ainda está em estágios iniciais. Isso significa que você pode encontrar algumas operações incompletas, já que os dados precisam ser continuamente transferidos entre a CPU e a GPU, o que pode impactar o desempenho. Atualmente, o multi-threading não é suportado, e certas limitações no WebAssembly significam que você não pode criar memória de 64 bits usando SharedArrayBuffer.

A boa notícia é que o desenvolvedor está ciente desses problemas e está trabalhando ativamente em soluções através de mudanças e patches propostos. Se você estiver interessado em experimentar a ferramenta por conta própria, o código-fonte está disponível no GitHub. Também há uma versão corrigida do onnxruntime que permite trabalhar com grandes modelos de linguagem através do transformers.js, embora sua confiabilidade possa variar dependendo da situação. Além disso, o desenvolvedor planeja enviar um pull request para o repositório onnxruntime para ajudar a melhorá-lo ainda mais.