Η Κίνα εκπαιδεύει LLM με 1 τρισ. παραμέτρους (!) πιθανότατα με επεξεργαστές της Huawei!

Ο κινεζικός κρατικός πάροχος China Telecom ανακοίνωσε την ανάπτυξη δύο LLM (μεγάλων γλωσσικών μοντέλων) που εκπαιδεύονται εξ ολοκλήρου σε εγχώρια παραγόμενα chips. Σε δήλωση του Ινστιτούτου Τεχνητής Νοημοσύνης της China Telecom, το ανοιχτού κώδικα μοντέλο TeleChat2-115B, το οποίο έχει πάνω από 100 δισεκατομμύρια παραμέτρους, και ένα δεύτερο ανώνυμο μοντέλο, το οποίο φέρεται να έχει 1 τρισεκατομμύριο παραμέτρους (!), εκπαιδεύτηκαν χρησιμοποιώντας δεκάδες χιλιάδες τοπικά κατασκευασμένους επεξεργαστές.

Η δήλωση υποστηρίζει ότι αυτή η εξέλιξη «δείχνει ότι η Κίνα έχει πραγματικά επιτύχει την πλήρη αυτάρκεια στην εγχώρια εκπαίδευση LLM», έναν δύσκολο στόχο για τη χώρα, δεδομένου ότι οι ΗΠΑ επέβαλαν αυστηρούς κανονισμούς εξαγωγής που εμποδίζουν την πρόσβαση σε GPUs υψηλής τεχνολογίας, όπως οι Nvidia H100 και A100.

Αν και η China Telecom δεν έχει διευκρινίσει ποιος προμήθευσε τους επεξεργαστές που χρησιμοποιήθηκαν για την εκπαίδευση των LLM της, είναι πιθανό ότι η Huawei παρείχε την πλειοψηφία, αν όχι όλα. Η τελευταία έχει χαρακτηριστεί ως η εγχώρια εναλλακτική λύση στην Nvidia και η South China Morning Post σημειώνει ότι η China Telecom «αποκάλυψε προηγουμένως ότι αναπτύσσει τεχνολογία LLM χρησιμοποιώντας επεξεργαστές Ascend που αναπτύχθηκαν από τον γίγαντα τηλεπικοινωνιακού εξοπλισμού με έδρα τη Shenzhen».

Η Huawei άρχισε πρόσφατα να στέλνει δείγματα του νέου επεξεργαστή Ascend 910C σε κινεζικές εταιρείες servers και τηλεπικοινωνιών για δοκιμές και έχει στοχεύσει σε μεγάλους πελάτες της Nvidia στην Κίνα με την ελπίδα να τους κάνει να αντικαταστήσουν τουλάχιστον μέρος των δραστηριοτήτων τους.

Παρόλο που υπάρχει μια ακμάζουσα μαύρη αγορά στην Κίνα για τις high-end GPU της Nvidia, πολλές εταιρείες, συμπεριλαμβανομένων των ByteDance και Alibaba, προτιμούν να παραμείνουν συμβατές και να χρησιμοποιούν χαμηλότερων προδιαγραφών, επιτρεπόμενες GPU όπως η H20 της Nvidia για να αποφύγουν νομικούς και δυσφημιστικούς κινδύνους και να διατηρήσουν την πρόσβαση στις υπηρεσίες υποστήριξης της Nvidia. Αυτές οι εταιρείες στρέφονται όλο και περισσότερο στη Huawei για τις ανάγκες τους σε AI. Πρόσφατα αναφέρθηκε ότι η ByteDance, ιδιοκτήτρια του TikTok, είχε υποβάλει παραγγελία για 100.000 επεξεργαστές Ascend.

Η South China Morning Post αναφέρει επίσης ότι, εκτός από τη Huawei, η China Telecom εξετάζει υλικό από την Cambricon, μια τοπική start-up εταιρεία κατασκευής AI chip, για να διαφοροποιήσει περαιτέρω τον εφοδιασμό.

[via]