Απίστευτο upscaling των θολών videos με το νέο AI εργαλείο της Adobe

Οι ερευνητές της Adobe ανέπτυξαν ένα νέο παραγωγικό μοντέλο Τεχνητής Νοημοσύνης με την ονομασία VideoGigaGAN, το οποίο μπορεί να αναβαθμίσει θολά βίντεο έως και οκτώ φορές την αρχική τους ανάλυση. Η Adobe υποστηρίζει ότι το VideoGigaGAN είναι ανώτερο από άλλες μεθόδους Video Super Resolution (VSR), καθώς μπορεί να παρέχει πιο λεπτομερείς λεπτομέρειες χωρίς να εισάγει "AI weirdness" στο υλικό.

Με λίγα λόγια, τα Generative Adversarial Networks (GAN) είναι αποτελεσματικά για την αναβάθμιση φωτογραφιών σε υψηλότερη ανάλυση, αλλά δυσκολεύονται να κάνουν το ίδιο για τα video χωρίς να εισάγουν τρεμοπαίξιμο και άλλα ανεπιθύμητα τεχνουργήματα. Άλλες μέθοδοι αναβάθμισης μπορούν να το αποφύγουν αυτό, αλλά τα αποτελέσματα δεν είναι τόσο ευκρινή ή λεπτομερή. Το VideoGigaGAN έχει ως στόχο να παρέχει το καλύτερο και από τους δύο κόσμους - την υψηλότερη ποιότητα εικόνας/βίντεο των μοντέλων GAN, με λιγότερα προβλήματα τρεμοπαίγματος ή παραμόρφωσης σε όλα τα καρέ εξόδου.

Ορισμένες από τις καλύτερες λεπτομέρειες στα demo clips που παρείχε η Adobe φαίνονται να είναι εντελώς τεχνητές, όπως η υφή του δέρματος και οι ρυτίδες, αλλά τα αποτελέσματα φαίνονται εντυπωσιακά φυσικά. Θα ήταν δύσκολο να πει κανείς ότι χρησιμοποιήθηκε παραγωγική AI για τη βελτίωση της ανάλυσης, γεγονός που θα μπορούσε να επεκτείνει τη συζήτηση για το "τι είναι φωτογραφία" και στο βίντεο.

Πρόκειται μόνο για μια πρώτη ερευνητική προεπισκόπηση, οπότε δεν υπάρχει καμία διασφάλιση ότι η Adobe θα διαθέσει το VideoGigaGAN στους χρήστες μέσω του λογισμικού Creative Cloud, όπως το Premiere Pro. Η εταιρεία είχε προηγουμένως παρουσιάσει σε προεπισκόπηση ένα ξεχωριστό πείραμα upsampling με βάση τη διάχυση, το Project Res-Up, κατά τη διάρκεια της εκδήλωσης MAX τον Οκτώβριο του 2023, το οποίο βελτιώνει ομοίως την ποιότητα των GIF και του υλικού βίντεο χαμηλής ανάλυσης.

Μπορείτε να δείτε πολλά εντυπωσιακά παραδείγματα της τεχνολογίας από την επίσημη ιστοσελίδα του project.