VideoPoet by Google

VideoPoet é uma ferramenta inovadora que ajuda os usuários a criar vídeos de alta qualidade de forma contínua, unindo modelos de linguagem com tecnologia de geração de vídeo.

Desenvolvido pela Google Research, o VideoPoet dá um grande passo à frente na forma como os vídeos são feitos, especialmente quando se trata de produzir movimentos dinâmicos e visualmente impressionantes. Ele transforma modelos de linguagem complexos em poderosos criadores de vídeo que podem dar vida a ideias de maneira envolvente.

Esta ferramenta emprega recursos avançados, como o tokenizador de vídeo MAGVIT V2 e o tokenizador de áudio SoundStream. Esses componentes trabalham juntos para pegar imagens, clipes de vídeo e áudio de diferentes comprimentos, convertendo-os em um conjunto de códigos discretos. Todos esses códigos pertencem a um vocabulário comum, tornando possível a conexão com modelos de linguagem baseados em texto. Essa integração permite uma combinação suave de diferentes tipos de mídia, como texto, imagens e som.

A mágica do VideoPoet reside em seu uso de um modelo de linguagem autoregressivo, que aprende com vídeo, áudio, imagens e texto. Este modelo prevê o que vem a seguir em uma sequência, permitindo gerar novo conteúdo de vídeo e áudio de forma fluida. Ele também incorpora vários objetivos de aprendizado multimodal em seu treinamento, como transformar texto em vídeo, criar imagens a partir de texto, continuar quadros de vídeo e mais, como edição e estilização de vídeo.

Seja criando vídeos quadrados para redes sociais ou vídeos em retrato para conteúdo curto, o VideoPoet tem tudo o que você precisa. Ele pode até gerar áudio para acompanhar sua entrada de vídeo. Com a capacidade de lidar com uma variedade de tarefas orientadas a vídeo, o VideoPoet demonstra como os modelos de linguagem podem sintetizar e editar vídeos de forma eficaz, mantendo um fluxo suave e coerente.