Filmy generowane przez sztuczną inteligencję ze spójnymi postaciami i scenami? Praktyczny test Vidu.com
Kwestie związane ze sztuczną inteligencją.
Vidu.com twierdzi, że jego sztuczna inteligencja może generować filmy ze spójnymi postaciami i środowiskami. Oznaczałoby to, że można łączyć wiele sekwencji z tymi samymi "aktorami" i potencjalnie tworzyć całe (krótkie) filmy. Ale czy to faktycznie działa? Sprawdziliśmy to w praktyce.Christian Hintze (tłumaczenie DeepL / Ninh Duy) Opublikowany 🇺🇸 🇩🇪 ...
Werdykt - Ogromny potencjał, ale jeszcze nie teraz
Potencjał (i ryzyko) są imponujące. Sztuczna inteligencja bez wątpienia przekształci nie tylko tworzenie treści, ale także branżę filmową i gamingową. Posiadanie spójnych postaci, ustawień i środowisk jest ważnym krokiem w kierunku uczynienia generatorów wideo AI praktycznymi, a nie tylko nowatorskimi.
W tej chwili jednak nie do końca. Jaki jest sens, jeśli osoba pozostaje taka sama (zakładając, że w ogóle to robi), ale potem przechodzi przez solidne obiekty, nagle się duplikuje lub wyrasta jej sześć palców u jednej ręki?
W tej chwili, Vidu.com bardziej przypomina zabawkę. To fajna zabawa, ale technologia nie jest jeszcze wystarczająco niezawodna do profesjonalnego użytku w filmie, reklamie lub podobnych obszarach. Jest po prostu zbyt wiele usterek.
Za
Przeciw
Ceny i dostępność
Każdy może spróbować Vidu.com za darmo po utworzeniu konta. System działa na zasadzie kredytów. Nowi użytkownicy otrzymują kredyty startowe, a dzięki określonym działaniom można zarobić więcej.
Dostępne są również miesięczne i roczne subskrypcje.
Pomimo słusznej krytyki, uważamy, że sztuczna inteligencja w tej przestrzeni jest fascynująca. Z jednej strony można uzyskać niezwykle szczegółowe środowiska prosto z wyobraźni. Z drugiej strony, ludzie wygenerowani przez SI często wpatrują się pustym wzrokiem w przestrzeń lub poruszają się w dziwnym zwolnionym tempie.
Daliśmy więc nowy generator wideo AI Vidu.com na własnej skórze. Deweloperzy uprzejmie dodali 500 kredytów do naszego konta w celu przetestowania. Flagowy model platformy, Vidu Q1, może przetwarzać do siedmiu obrazów referencyjnych w jednej sekwencji wideo. Brakujące elementy mogą być generowane za pomocą podpowiedzi tekstowych.
Co można zrobić z Vidu?
Dzięki Vidu można generować filmy AI za pomocą tych narzędzi:
- Text to Video: Proszę wpisać podpowiedź opisującą, co powinno się wydarzyć w filmie
- Image to Video: Generowanie wideo z pojedynczego obrazu. Jeszcze fajniejsze: ustaw klatkę początkową i końcową, a Vidu wypełni przejście
- Odnośnik do wideo: Najbardziej ekscytująca funkcja. Proszę przesłać obrazy postaci, miejsc lub obiektów, a sztuczna inteligencja postara się zachować ich spójność w całym filmie.
wyjście to Full HD, 16:9, z opcjonalnym formatem smartfona. Filmy można nawet przeskalować, np. do 4K.
Praktyczne doświadczenie - krzywa uczenia się, precyzyjne podpowiedzi
Nasz ambitny plan:
- Scena 1: Redaktor Notebookcheck stoi w biurze i testuje laptopa.
- Scena 2: Wpisuje mierną ocenę.
- Scena 3: Przejście do innego biura, gdzie panowie w garniturach oglądają nagranie z monitoringu, na którym redaktor wpisuje słabą ocenę.
- Scena 4: Jeden z panów w garniturze wciska przycisk alarmowy.
- Scena 5: Na miejsce zostaje wysłany zespół przypominający SWAT.
W sumie stworzyliśmy 10 wstępnych scen.
1. Scena: Redaktor testujący laptopa
Użyliśmy starszego, nie do końca aktualnego zdjęcia jednego z naszych redaktorów jako odniesienia do postaci, a także zdjęcia biura jako scenerii. Dodaliśmy logo Notebookcheck, laptopa i fikcyjne logo marki PC ("Lavani"). Następnie daliśmy następujący monit:
W skrócie: nasz redaktor (obrazek 1) powinien stać w biurze (obrazek 2) i testować laptopa. Na ceglanej ścianie w tle powinno pojawić się logo Notebookcheck (obrazek 3).
Renderowanie 5-sekundowego klipu za pomocą modelu Vidu Q1 zajmuje tylko około 1-2 minut i kosztuje 15-20 kredytów. Rezultat?
Nie byliśmy zbyt zadowoleni z następujących kwestii:
- Dlaczego fryzura naszej postaci nie pasuje do zdjęcia referencyjnego? Czy pozostanie ona spójna w późniejszych scenach?
- Dlaczego nasze logo referencyjne zostało zamienione na "notobochech"?
- Dlaczego nie uwzględniono żądanego kąta kamery "przez ramię"?
- Dlaczego montażysta cały czas mówi do mikrofonu?
Dla filmowców utrudnia to uzyskanie dokładnych kątów kamery i ustawień, które opisują.
Poprawialiśmy naszą podpowiedź, ale im więcej szczegółów dodawaliśmy, tym więcej problemów się pojawiało. Teraz fryzura była poprawna, ale nagle na ekranie pojawiło się dwóch bliźniaczych redaktorów. Następnie nasz redaktor przeszedł prosto przez biurko.
Sztuczna inteligencja miała również problemy z umieszczeniem pierwszego planu. I pomimo wielokrotnych monitów, nigdy nie stworzyła żądanego ujęcia zza ramienia. Krótko mówiąc, nasze dane tekstowe nie były dokładnie śledzone.
Obraz na wideo
Odłożyliśmy na bok nasz ambitny pomysł na film krótkometrażowy i wypróbowaliśmy funkcję Image-to-Video oraz przejścia między dwoma obrazami referencyjnymi.
pierwszy z nich zadziałał całkiem dobrze. Na przykład, nasz obraz Illidana (z gry *Warcraft 3*) został przekształcony w krótki klip. Kamera robiła zbliżenie na twarz łowcy demonów, gdy ten się krzywił. Ze względu na prawa autorskie nie pokażemy tutaj tego obrazu ani wideo.
Na koniec przetestowaliśmy przejście między dwiema klatkami:
- Illidan stoi na skale.
- Illidan ląduje na ziemi.
Idea: Illidan powinien zeskoczyć ze skały (obraz 1) i wylądować na ziemi (obraz 2). Ale w wygenerowanym wideo Illidan zmienił się w czarny, podobny do ptaka cień. Całkowicie bezużyteczne.
Podsumowanie
Generowanie filmów za pomocą Vidu.com jest banalnie proste. Ale uzyskanie dokładnych scen, kątów kamery i działań, których Państwo oczekują, nie jest takie proste. Podpowiedzi nie są ściśle przestrzegane, obrazy referencyjne ulegają zniekształceniu (logo, fryzura), obiekty tracą fizyczną spójność (przechodzenie przez biurko) lub pojawiają się inne usterki (zduplikowany edytor).
Ogólnie rzecz biorąc, jest to nieco frustrujące i obecnie prawie uniemożliwia tworzenie naprawdę spójnych filmów dostosowanych do Państwa wizji.
