Μια νέα μελέτη από την ερευνητική μονάδα DeepMind της Google διαπίστωσε ότι ένα σύστημα Τεχνητής Νοημοσύνης μπορεί να ξεπεράσει τους ανθρώπινους επαληθευτές γεγονότων κατά την αξιολόγηση της ακρίβειας των πληροφοριών που παράγονται από μεγάλα γλωσσικά μοντέλα.
Η εργασία, με τίτλο "Long-form factuality in large language models", παρουσιάζει μια μέθοδο που ονομάζεται Search-Augmented Factuality Evaluator (SAFE). Η SAFE χρησιμοποιεί ένα μεγάλο γλωσσικό μοντέλο για να αναλύσει το παραγόμενο κείμενο σε μεμονωμένα γεγονότα και στη συνέχεια χρησιμοποιεί τα αποτελέσματα της αναζήτησης Google για να καθορίσει την ακρίβεια κάθε ισχυρισμού.
Το SAFE χρησιμοποιεί ένα LLM για να αναλύσει μια μακροσκελή απάντηση σε ένα σύνολο μεμονωμένων γεγονότων και να αξιολογήσει την ακρίβεια κάθε γεγονότος χρησιμοποιώντας μια διαδικασία συλλογισμού πολλαπλών βημάτων που περιλαμβάνει την αποστολή ερωτημάτων αναζήτησης στο Google Search και τον προσδιορισμό του κατά πόσον ένα γεγονός υποστηρίζεται από τα αποτελέσματα της αναζήτησης.
Οι ερευνητές συνέκριναν το SAFE με τους ανθρώπους-σχολιαστές σε ένα σύνολο δεδομένων με περίπου 16.000 γεγονότα, διαπιστώνοντας ότι οι αξιολογήσεις του SAFE ταίριαζαν με τις ανθρώπινες αξιολογήσεις στο 72% των περιπτώσεων. Ακόμη πιο αξιοσημείωτο είναι ότι σε ένα δείγμα 100 διαφωνιών μεταξύ του SAFE και των αξιολογητών, η κρίση του SAFE βρέθηκε σωστή στο 76% των περιπτώσεων.
Ενώ το έγγραφο ισχυρίζεται ότι "οι LLM agents μπορούν να επιτύχουν υπεράνθρωπες επιδόσεις αξιολόγησης", ορισμένοι ειδικοί αμφισβητούν τι πραγματικά σημαίνει "υπεράνθρωπος" στην προκειμένη περίπτωση. Ο Gary Marcus, γνωστός ερευνητής στον τομέα της Τεχνητής Νοημοσύνης και συχνός επικριτής των υπερτιμημένων ισχυρισμών, πρότεινε στο X (πρώην Twitter) ότι σε αυτή την περίπτωση, "υπεράνθρωπος" μπορεί απλώς να σημαίνει "καλύτερος από έναν κακοπληρωμένο εργάτη, παρά ένας πραγματικός άνθρωπος που ελέγχει τα γεγονότα. Αυτό καθιστά τον χαρακτηρισμό παραπλανητικό. Σαν να λέμε ότι το λογισμικό σκακιού του 1985 ήταν υπεράνθρωπο".
Ο Marcus θέτει ένα βάσιμο ζήτημα. Για να επιδείξει πραγματικά υπεράνθρωπες επιδόσεις, το SAFE θα πρέπει να συγκριθεί με έμπειρους ανθρώπους που ελέγχουν τα γεγονότα, όχι μόνο με απλούς εργαζόμενους . Οι συγκεκριμένες λεπτομέρειες των ανθρώπων-κριτών, όπως τα προσόντα τους, η αμοιβή τους και η διαδικασία ελέγχου των γεγονότων, είναι ζωτικής σημασίας για τη σωστή πλαισίωση των αποτελεσμάτων.
Ένα σαφές πλεονέκτημα του SAFE είναι το κόστος, καθώς οι ερευνητές διαπίστωσαν ότι η χρήση του συστήματος Τεχνητής Νοημοσύνης ήταν περίπου 20 φορές φθηνότερη από την απασχόληση ανθρώπων ελεγκτών γεγονότων. Καθώς ο όγκος των πληροφοριών που παράγονται από γλωσσικά μοντέλα συνεχίζει να αυξάνεται εκρηκτικά, η ύπαρξη ενός οικονομικού και κλιμακούμενου τρόπου επαλήθευσης των ισχυρισμών θα είναι όλο και πιο ζωτικής σημασίας.
Η ομάδα της DeepMind χρησιμοποίησε το SAFE για να αξιολογήσει την ακρίβεια των γεγονότων 13 κορυφαίων γλωσσικών μοντέλων σε 4 οικογένειες (Gemini, GPT, Claude και PaLM-2) σε ένα νέο μέτρο σύγκρισης που ονομάζεται LongFact. Τα αποτελέσματα τους δείχνουν ότι τα μεγαλύτερα μοντέλα παρήγαγαν γενικά λιγότερα πραγματολογικά λάθη.
Ωστόσο, ακόμη και τα μοντέλα με τις καλύτερες επιδόσεις παρήγαγαν σημαντικό αριθμό ψευδών ισχυρισμών. Αυτό υπογραμμίζει τους κινδύνους της υπερβολικής εμπιστοσύνης σε γλωσσικά μοντέλα που μπορούν να εκφράζουν με ευχέρεια ανακριβείς πληροφορίες. Τα εργαλεία αυτόματου ελέγχου των γεγονότων, όπως το SAFE, θα μπορούσαν να διαδραματίσουν βασικό ρόλο στον μετριασμό αυτών των κινδύνων.
Παρόλο που ο κώδικας του SAFE και το σύνολο δεδομένων LongFact έχουν διατεθεί ανοιχτά στο GitHub, επιτρέποντας σε άλλους ερευνητές να εξετάσουν και να αξιοποιήσουν το έργο, χρειάζεται ακόμη περισσότερη διαφάνεια σχετικά με τις ανθρώπινες βάσεις που χρησιμοποιήθηκαν στη μελέτη. Η κατανόηση των ιδιαιτεροτήτων του ιστορικού και της διαδικασίας των crowdworkers είναι απαραίτητη για την αξιολόγηση των δυνατοτήτων του SAFE στο κατάλληλο πλαίσιο.
Καθώς οι τεχνολογικοί γίγαντες αγωνίζονται να αναπτύξουν όλο και πιο ισχυρά γλωσσικά μοντέλα για εφαρμογές που κυμαίνονται από την αναζήτηση έως τους εικονικούς βοηθούς, η δυνατότητα αυτόματου ελέγχου των γεγονότων στα αποτελέσματα αυτών των συστημάτων θα μπορούσε να αποδειχθεί καθοριστική. Εργαλεία όπως το SAFE αντιπροσωπεύουν ένα σημαντικό βήμα προς την οικοδόμηση ενός νέου επιπέδου εμπιστοσύνης και λογοδοσίας.
Ωστόσο, είναι ζωτικής σημασίας η ανάπτυξη τέτοιων επακόλουθων τεχνολογιών να γίνεται ανοιχτά, με τη συμβολή ενός ευρέος φάσματος ενδιαφερομένων πέρα από τα όρια μιας εταιρείας. Η αυστηρή, διαφανής συγκριτική αξιολόγηση με ανθρώπους εμπειρογνώμονες - και όχι μόνο με το πλήθος - θα είναι απαραίτητη για τη μέτρηση της πραγματικής προόδου. Μόνο τότε θα μπορέσουμε να μετρήσουμε τον πραγματικό αντίκτυπο του αυτοματοποιημένου ελέγχου των γεγονότων στον αγώνα κατά της παραπληροφόρησης.
[via]
