Τον περασμένο Μάιο η Google είχε εντυπωσιάσει τον κόσμο με το εργαλείο IMAGEN, ένα αντίστοιχο του περίφημου DALLE-2 της OpenAI που μετατρέπει μια γραπτή περιγραφή σε εικόνα με την βοήθεια αλγορίθμων Τεχνητής Νοημοσύνης. Τώρα, μόλις μερικούς μήνες μετά, η εταιρεία επιστρέφει με το IMAGEN VIDEO!
Όπως καταλάβατε, το IMAGEN VIDEO αφήνει στην άκρη τις εικόνες και φέρνει την «μαγεία» και στον τομέα του video, καθώς μπορεί να μετατρέψει μια γραπτή περιγραφή σε video ανάλυσης 1280 x 768 στα 24fps! Η εταιρεία αναφέρει ότι ακόμη βρίσκεται σε ερευνητικό στάδιο, αλλά αποκαλύπτει ορισμένα πολύ ενδιαφέροντα στοιχεία.
Σύμφωνα με την δημοσίευση της, το IMAGEN VIDEO διαθέτει πληθώρα στυλιστικών ικανοτήτων, όπως την δυνατότητα παραγωγής video από τα έργα διάσημων ζωγράφων (π.χ. Vincent van Gogh), την δημιουργία τρισδιάστατων περιστρεφόμενων αντικειμένων διατηρώντας παράλληλα την δομή τους και την απόδοση γραμματοσειρών σε διάφορα στυλ animation. Η εταιρεία ευελπιστεί ότι τα γενικού ενδιαφέροντος μοντέλα σύνθεσης θα οδηγήσουν σε δραματική μείωση της δυσκολίας παραγωγής περιεχομένου υψηλής ποιότητας.
Αν και δεν αναλύει πλήρως το τεχνικό σκέλος, το IMAGEN VIDEO προχωρά την παραγωγή ξεκινώντας από την αρχική δημιουργία ενός video χαμηλής ανάλυσης (16 καρέ, 24 x 48 pixels στα 3fps) και στη συνέχεια προχωρά σε7 διαδοχικά upscales αυξάνοντας την ανάλυση και τα fps. Στην παρούσα φάση τα τελικά videos φτάνουν σε διάρκεια τα 5.3 δευτερόλεπτα.
Εκτός από το IMAGEN VIDEO, η εταιρεία λανσάρει σήμερα ακόμη ένα εργαλείο text-to-video, το οποίο ονομάζεται Phenaki και έχει την δυνατότητα να δημιουργεί videos μεγαλύτερης διάρκειας χρησιμοποιώντας πιο αναλυτικές εντολές. Επίσης, το εργαλείο DreamFusion δημιουργεί τρισδιάστατα μοντέλα από κείμενο.
Για την ώρα, πάντως, δεν σκοπεύει να ανοίξει το IMAGEN VIDEO στο ευρύ κοινό για να αποφευχθεί η χρήση του για κακόβουλους σκοπούς, τουλάχιστον μέχρι να εκπαιδευτεί αρκετά για να αποκόπτει το προβληματικό περιεχομένο.
[Google]
