Texte vers vidéo facile avec AnimateDiff

AnimateDiff peut générer des animations à partir de prompts texte seuls. Les utilisateurs peuvent téléverser une image et AnimateDiff prédira le mouvement pour générer une animation. Les utilisateurs n'ont pas besoin de créer manuellement chaque image, car AnimateDiff génère automatiquement la séquence d'images. AnimateDiff peut être intégré de manière transparente à Stable Diffusion et exploiter ses puissantes capacités de génération d'images.

Il utilise un module de mouvement pré-entraîné avec un modèle de génération d'images Stable Diffusion. Le module de mouvement est entraîné sur un ensemble diversifié de courts clips pour apprendre les mouvements et transitions communs. Lors de la génération d'une vidéo, le module de mouvement prend un prompt texte et les images précédentes en entrée. Il prédit ensuite le mouvement et la dynamique de la scène pour passer entre les images en douceur. Ces prédictions sont transmises à Stable Diffusion pour générer le contenu réel de l'image dans chaque image. Stable Diffusion crée des images qui correspondent au prompt texte tout en se conformant au mouvement prédit par le module. Ce processus coordonné aboutit à une séquence d'images formant une animation fluide et de haute qualité à partir de la description textuelle. En exploitant à la fois la prédiction de mouvement et la synthèse d'images, AnimateDiff automatise la génération de vidéos animées.

Art et animation : les artistes/animateurs peuvent rapidement prototyper des animations et croquis animés à partir de prompts texte, économisant un effort manuel considérable. Visualisation de concepts : aide à visualiser des concepts et idées abstraits en les transformant en animations, utile pour le storyboard. Développement de jeux : peut générer rapidement des mouvements et animations de personnages pour le prototypage de mécaniques de jeu. Graphiques dynamiques : créez des graphiques animés pour les publicités, présentations et posts sociaux. Réalité augmentée : animez des personnages et objets AR avec un mouvement plus fluide et naturel. Pré-visualisation : prévisualisez des scènes complexes avec animation avant le tournage ou le rendu final. Éducation : créez des explications et démonstrations de concepts sous forme de vidéos animées engageantes. Médias sociaux : générez des posts et stories animés accrocheurs en les décrivant simplement par texte. La capacité de passer directement du texte/des images à l'animation ouvre de nombreuses possibilités pour une création d'animation plus facile et rapide dans plusieurs domaines.

Vous pouvez utiliser l'outil gratuitement sur le site animatediff.net sans avoir besoin de vos propres ressources informatiques ni de connaissances en codage. Sur le site, vous saisissez simplement un prompt texte décrivant l'animation que vous voulez créer. Il générera alors automatiquement un court GIF animé à partir de votre prompt texte en utilisant des capacités d'IA de pointe. L'ensemble du processus se déroule en ligne et vous pouvez télécharger l'animation résultante pour l'utiliser comme bon vous semble. Cela offre un moyen facile de découvrir les pouvoirs d'animation d'AnimateDiff sans configuration. Vous pouvez commencer à créer des animations alimentées par l'IA à partir de votre imagination en quelques clics !

Un GPU Nvidia est requis, idéalement avec au moins 8 Go de VRAM pour la génération texte vers vidéo. 10+ Go de VRAM nécessaires pour la vidéo vers vidéo. Un GPU suffisamment puissant pour l'inférence est nécessaire, comme un RTX 3060 ou mieux. Windows ou Linux ; macOS peut fonctionner via Docker, et Google Colab est aussi une option. 16 Go de RAM système minimum recommandés. Une quantité décente de stockage est requise pour sauvegarder les séquences d'images, vidéos et fichiers de modèles. Fonctionne avec AUTOMATIC1111 ou Google Colab et nécessite l'installation de Python et d'autres dépendances. Actuellement compatible uniquement avec les modèles Stable Diffusion v1.5, y compris les modèles checkpoint SD 1.5, les modèles personnalisés, les styles LoRA/DreamBooth et les variantes de modèles spécifiques à SDXL.

Démarrez l'interface Web AUTOMATIC1111 normalement. Allez sur la page Extensions et cliquez sur l'onglet « Install from URL ». Dans le champ URL, entrez l'URL GitHub de l'extension AnimateDiff : https://github.com/continue-revolution/sd-webui-animatediff. Attendez la confirmation que l'installation est terminée, puis redémarrez l'interface Web AUTOMATIC1111. L'extension devrait maintenant apparaître dans les onglets txt2img et img2img. Téléchargez les modules de mouvement requis et placez-les dans les bons dossiers comme expliqué dans la documentation, puis redémarrez AUTOMATIC1111 à nouveau. Maintenant l'extension est prête à être utilisée pour générer des vidéos animées dans AUTOMATIC1111 !

La boucle fermée rend les première et dernière images identiques pour créer une vidéo en boucle transparente. Reverse frames double la longueur du clip en ajoutant les images dans l'ordre inverse. L'interpolation d'images augmente la fréquence d'images pour rendre le mouvement plus fluide. La taille du batch de contexte contrôle la cohérence temporelle entre les images. Motion LoRA ajoute des mouvements de caméra comme le panoramique et le zoom. ControlNet dirige l'animation à partir des mouvements d'une vidéo de référence. L'image vers image permet de définir les images de début et de fin pour plus de contrôle sur la composition. Le FPS et le nombre d'images contrôlent la vitesse et la longueur totale de l'animation. Les modules de mouvement produisent des schémas de mouvement distincts. Ces paramètres contrôlent le style, la fluidité, les mouvements de caméra, la vitesse et la longueur.

Plage de mouvement limitée : le mouvement est contraint par ce qui se trouve dans les données d'entraînement, il ne peut donc pas animer des mouvements très complexes ou inhabituels non vus dans l'ensemble d'entraînement. Mouvements génériques : la sortie n'est pas adaptée spécifiquement au prompt et tend à produire des mouvements génériques vaguement liés à celui-ci. Des artefacts peuvent parfois apparaître à mesure que le mouvement augmente. Compatibilité : fonctionne actuellement uniquement avec les modèles Stable Diffusion v1.5, pas SD v2.0. La qualité du mouvement dépend fortement de la diversité et de la pertinence des données d'entraînement. Obtenir un mouvement fluide et de haute qualité nécessite de régler de nombreux paramètres comme la taille du batch, le FPS et les images. Maintenir la cohérence temporelle sur de longs clips reste un défi. À mesure que la technologie mûrit, on peut s'attendre à ce que beaucoup de ces problèmes soient résolus.