Łatwy tekst na wideo z AnimateDiff

AnimateDiff może generować animacje wyłącznie z promptów tekstowych. Użytkownicy mogą przesłać obraz, a AnimateDiff przewidzi ruch, aby wygenerować animację. Użytkownicy nie muszą ręcznie tworzyć każdej klatki, ponieważ AnimateDiff automatycznie generuje sekwencję obrazów. AnimateDiff można bezproblemowo zintegrować ze Stable Diffusion i wykorzystać jego potężne możliwości generowania obrazów.

Wykorzystuje wstępnie wytrenowany moduł ruchu wraz z modelem generowania obrazów Stable Diffusion. Moduł ruchu jest trenowany na różnorodnym zestawie krótkich klipów, aby nauczyć się typowych ruchów i przejść. Podczas generowania wideo moduł ruchu przyjmuje prompt tekstowy i poprzedzające klatki jako wejście. Następnie przewiduje ruch i dynamikę sceny, aby płynnie przechodzić między klatkami. Te przewidywania są przekazywane do Stable Diffusion w celu wygenerowania rzeczywistej zawartości obrazu w każdej klatce. Stable Diffusion tworzy obrazy zgodne z promptem tekstowym, jednocześnie dostosowując się do ruchu przewidzianego przez moduł. Ten skoordynowany proces daje sekwencję obrazów tworzących płynną, wysokiej jakości animację z opisu tekstowego. Wykorzystując zarówno przewidywanie ruchu, jak i syntezę obrazów, AnimateDiff automatyzuje generowanie animowanego wideo.

Sztuka i animacja: artyści/animatorzy mogą szybko prototypować animacje i animowane szkice z promptów tekstowych, oszczędzając znaczny wysiłek manualny. Wizualizacja konceptów: pomaga wizualizować abstrakcyjne koncepty i pomysły, zamieniając je w animacje, przydatne przy storyboardingu. Tworzenie gier: może szybko generować ruch i animacje postaci do prototypowania mechanik gry. Dynamiczna grafika: twórz animowane grafiki do reklam, prezentacji i postów społecznościowych. Rzeczywistość rozszerzona: animuj postacie i obiekty AR, generując płynniejszy i bardziej naturalny ruch. Pre-wizualizacja: podglądaj złożone sceny z animacją przed filmowaniem lub renderowaniem finalnej produkcji. Edukacja: twórz wyjaśnienia i demonstracje konceptów jako angażujące animowane wideo. Media społecznościowe: generuj chwytliwe animowane posty i relacje, po prostu opisując je tekstem. Możliwość przejścia bezpośrednio z tekstu/obrazów do animacji otwiera wiele możliwości łatwiejszego i szybszego tworzenia animacji w wielu dziedzinach.

Możesz korzystać z narzędzia za darmo na stronie animatediff.net bez potrzeby posiadania własnych zasobów obliczeniowych ani wiedzy programistycznej. Na stronie po prostu wpisujesz prompt tekstowy opisujący animację, którą chcesz stworzyć. Następnie automatycznie wygeneruje krótki animowany GIF z twojego promptu tekstowego, używając najnowocześniejszych możliwości AI. Cały proces odbywa się online i możesz pobrać powstałą animację, aby używać jej według uznania. To oferuje łatwy sposób na doświadczenie mocy animacji AnimateDiff bez konfiguracji. Możesz zacząć tworzyć animacje napędzane AI z twojej wyobraźni w zaledwie kilka kliknięć!

Wymagana jest karta GPU Nvidia, najlepiej z co najmniej 8 GB VRAM do generowania tekstu na wideo. 10+ GB VRAM potrzebne do wideo na wideo. Potrzebna jest wystarczająco wydajna karta GPU do inferencji, jak RTX 3060 lub lepsza. Windows lub Linux; macOS może działać przez Docker, a Google Colab jest również opcją. Zalecane minimum 16 GB pamięci RAM systemu. Wymagana jest przyzwoita ilość pamięci masowej do zapisywania sekwencji obrazów, wideo i plików modeli. Działa z AUTOMATIC1111 lub Google Colab i wymaga instalacji Pythona oraz innych zależności. Obecnie kompatybilny tylko z modelami Stable Diffusion v1.5, w tym modelami checkpoint SD 1.5, modelami spersonalizowanymi, stylami LoRA/DreamBooth i wariantami modeli specyficznymi dla SDXL.

Uruchom interfejs webowy AUTOMATIC1111 normalnie. Przejdź do strony Extensions i kliknij kartę «Install from URL». W polu URL wprowadź adres GitHub rozszerzenia AnimateDiff: https://github.com/continue-revolution/sd-webui-animatediff. Poczekaj na potwierdzenie zakończenia instalacji, a następnie zrestartuj interfejs webowy AUTOMATIC1111. Rozszerzenie powinno teraz pojawić się na kartach txt2img i img2img. Pobierz wymagane moduły ruchu i umieść je w odpowiednich folderach, jak wyjaśniono w dokumentacji, a następnie ponownie zrestartuj AUTOMATIC1111. Teraz rozszerzenie jest gotowe do użycia do generowania animowanych wideo w AUTOMATIC1111!

Zamknięta pętla sprawia, że pierwsza i ostatnia klatka są identyczne, tworząc bezszwowe wideo w pętli. Reverse frames podwaja długość klipu, dołączając klatki w odwrotnej kolejności. Interpolacja klatek zwiększa liczbę klatek na sekundę, aby ruch wyglądał płynniej. Rozmiar partii kontekstu kontroluje spójność czasową między klatkami. Motion LoRA dodaje ruchy kamery jak panoramowanie i zoom. ControlNet kieruje animacją na podstawie ruchów wideo referencyjnego. Obraz-na-obraz pozwala definiować klatki początkowe i końcowe dla większej kontroli nad kompozycją. FPS i liczba klatek kontrolują prędkość i całkowitą długość animacji. Moduły ruchu produkują odrębne wzorce ruchu. Te ustawienia kontrolują styl, płynność, ruchy kamery, prędkość i długość.

Ograniczony zakres ruchu: ruch jest ograniczony tym, co znajduje się w danych treningowych, więc nie może animować bardzo złożonych lub nietypowych ruchów niewidzianych w zestawie treningowym. Ogólne ruchy: wyjście nie jest dostosowane konkretnie do promptu i ma tendencję do produkowania ogólnych ruchów luźno z nim związanych. Artefakty mogą czasami pojawiać się wraz ze wzrostem ruchu. Kompatybilność: obecnie działa tylko z modelami Stable Diffusion v1.5, nie SD v2.0. Jakość ruchu w dużym stopniu zależy od różnorodności i adekwatności danych treningowych. Uzyskanie płynnego, wysokiej jakości ruchu wymaga dostrojenia wielu ustawień, takich jak rozmiar partii, FPS i klatki. Utrzymanie spójności czasowej w długich klipach wciąż stanowi wyzwanie. W miarę dojrzewania technologii możemy oczekiwać, że wiele z tych problemów zostanie rozwiązanych.