Το νέο μοντέλο Τεχνητής Νοημοσύνης Lumiere της Google για τη δημιουργία βίντεο χρησιμοποιεί ένα νέο σύστημα διάχυσης που ονομάζεται Space-Time-U-Net, ή STUNet, το οποίο υπολογίζει πού βρίσκονται τα πράγματα σε ένα βίντεο (χώρος) και πώς κινούνται και αλλάζουν ταυτόχρονα (χρόνος). Η ιστοσελίδα Ars Technica αναφέρει ότι αυτή η μέθοδος επιτρέπει στο Lumiere να δημιουργήσει το βίντεο με μιας αντί να συνθέτει μαζί μικρότερα σταθερά καρέ.
Το Lumiere ξεκινά με τη δημιουργία ενός βασικού πλαισίου από την προτροπή του χρήστη. Στη συνέχεια, χρησιμοποιεί το STUNet framework για να αρχίσει να προσδιορίζει προσεγγιστικά πού θα κινηθούν τα αντικείμενα μέσα σε αυτό το καρέ, ώστε να παράγει περισσότερα καρέ που εισέρχονται το ένα στο άλλο, δημιουργώντας την εντύπωση μιας απρόσκοπτης κίνησης. Το Lumiere παράγει 80 καρέ σε σύγκριση με τα 25 καρέ του Stable Video Diffusion.
Το Lumiere έχει τη δυνατότητα να εκτελεί διάφορα τρικ, τα οποία παρουσιάζονται με παραδείγματα στη demo σελίδα της Google. Για παράδειγμα, μπορεί να εκτελέσει τη δημιουργία κειμένου σε βίντεο (μετατρέποντας μια γραπτή προτροπή σε βίντεο), να μετατρέψει ακίνητες εικόνες σε βίντεο, να δημιουργήσει βίντεο σε συγκεκριμένα στυλ χρησιμοποιώντας μια εικόνα αναφοράς, να εφαρμόσει συνεκτική επεξεργασία βίντεο χρησιμοποιώντας προτροπές που βασίζονται σε κείμενο, να δημιουργήσει cinemagraphs με animation συγκεκριμένων περιοχών μιας εικόνας και να προσφέρει δυνατότητες video inpainting (για παράδειγμα, μπορεί να αλλάξει τον τύπο του φορέματος που φοράει ένα άτομο).
Στο άρθρο για το Lumiere, οι ερευνητές της Google αναφέρουν ότι το μοντέλο Τεχνητής Νοημοσύνης παράγει βίντεο διάρκειας πέντε δευτερολέπτων σε ανάλυση 1024×1024 , τα οποία χαρακτηρίζουν ως "χαμηλής ανάλυσης". Παρά τους περιορισμούς αυτούς, οι ερευνητές πραγματοποίησαν μια δοκιμή με χρήστες και ισχυρίζονται ότι προτιμήθηκαν οι παραγωγές του Lumiere σε σύγκριση με τα άλλα υπάρχοντα μοντέλα σύνθεσης βίντεο Τεχνητής Νοημοσύνης.
Όσον αφορά τα δεδομένα εκπαίδευσης, η Google δεν λέει από πού πήρε τα βίντεο που τροφοδότησε το Lumiere, γράφοντας:
Εκπαιδεύουμε το μοντέλο T2V [text to video] σε ένα σύνολο δεδομένων που περιέχει 30 εκατομμύρια βίντεο μαζί με τις λεζάντες τους. Τα βίντεο έχουν διάρκεια 80 καρέ στα 16 fps (5 δευτερόλεπτα). Το βασικό μοντέλο εκπαιδεύεται σε ανάλυση 128×128.
Μπορείτε να ρίξετε μια ματιά στο Lumiere από εδώ.
[via]
