Το OpenXLA είναι ένα οικοσύστημα μεταγλωττιστή ML ανοιχτού κώδικα που έχει αναπτυχθεί από κοινού
Πρόσφατα, παρουσιάστηκαν οι μεγαλύτερες εταιρείες που ασχολούνται με την ανάπτυξη στον τομέα της μηχανικής μάθησης το έργο OpenXLA, που προορίζεται για κοινή ανάπτυξη εργαλείων για τη σύνταξη και τη βελτιστοποίηση μοντέλων για συστήματα μηχανικής μάθησης.
Το έργο έχει αναλάβει την ανάπτυξη εργαλείων που επιτρέπουν την ενοποίηση της συλλογής μοντέλων που προετοιμάζονται στα πλαίσια TensorFlow, PyTorch και JAX για αποτελεσματική εκπαίδευση και εκτέλεση σε διαφορετικές GPU και εξειδικευμένους επιταχυντές. Εταιρείες όπως η Google, η NVIDIA, η AMD, η Intel, η Meta, η Apple, η Arm, η Alibaba και η Amazon εντάχθηκαν στην κοινή εργασία του έργου.
Το OpenXLA Project παρέχει έναν μεταγλωττιστή ML τελευταίας τεχνολογίας που μπορεί να κλιμακωθεί μέσα στην πολυπλοκότητα της υποδομής ML. Οι θεμελιώδεις πυλώνες του είναι η απόδοση, η επεκτασιμότητα, η φορητότητα, η ευελιξία και η επεκτασιμότητα για τους χρήστες. Με το OpenXLA, φιλοδοξούμε να ξεκλειδώσουμε τις πραγματικές δυνατότητες του AI επιταχύνοντας την ανάπτυξη και την παράδοσή του.
Το OpenXLA επιτρέπει στους προγραμματιστές να μεταγλωττίζουν και να βελτιστοποιούν μοντέλα από όλα τα κορυφαία πλαίσια ML για αποτελεσματική εκπαίδευση και εξυπηρέτηση σε μια μεγάλη ποικιλία υλικού. Οι προγραμματιστές που χρησιμοποιούν OpenXLA θα δουν σημαντικές βελτιώσεις στον χρόνο εκπαίδευσης, την απόδοση, τον λανθάνοντα χρόνο υπηρεσίας και, τελικά, τον χρόνο για την αγορά και τον υπολογισμό του κόστους.
Ελπίζεται ότι ενώνοντας τις προσπάθειες των κύριων ερευνητικών ομάδων και των εκπροσώπων της κοινότητας, θα είναι δυνατή η τόνωση της ανάπτυξης συστημάτων μηχανικής μάθησης και να λύσουν το πρόβλημα του κατακερματισμού των υποδομών για διάφορα πλαίσια και ομάδες.
Το OpenXLA επιτρέπει την υλοποίηση αποτελεσματικής υποστήριξης για διάφορα υλικά, ανεξάρτητα από το πλαίσιο στο οποίο βασίζεται το μοντέλο μηχανικής μάθησης. Το OpenXLA αναμένεται να μειώσει τον χρόνο εκπαίδευσης του μοντέλου, να βελτιώσει την απόδοση, να μειώσει τον λανθάνοντα χρόνο, να μειώσει την επιβάρυνση των υπολογιστών και να μειώσει το χρόνο στην αγορά.
OpenXLA αποτελείται από τρία κύρια συστατικά, ο κωδικός του οποίου διανέμεται υπό την άδεια Apache 2.0:
- Το XLA (accelerated linear algebra) είναι ένας μεταγλωττιστής που σας επιτρέπει να βελτιστοποιείτε μοντέλα μηχανικής εκμάθησης για εκτέλεση υψηλής απόδοσης σε διαφορετικές πλατφόρμες υλικού, συμπεριλαμβανομένων των GPU, των CPU και των εξειδικευμένων επιταχυντών από διάφορους κατασκευαστές.
- Το StableHLO είναι μια βασική προδιαγραφή και υλοποίηση ενός συνόλου λειτουργιών υψηλού επιπέδου (HLO) για χρήση σε μοντέλα συστημάτων μηχανικής εκμάθησης. Λειτουργεί ως στρώμα μεταξύ πλαισίων μηχανικής μάθησης και μεταγλωττιστών που μεταμορφώνουν το μοντέλο ώστε να εκτελείται σε συγκεκριμένο υλικό. Τα επίπεδα προετοιμάζονται για τη δημιουργία μοντέλων σε μορφή StableHLO για τα πλαίσια PyTorch, TensorFlow και JAX. Η σουίτα MHLO χρησιμοποιείται ως βάση για το StableHLO, το οποίο επεκτείνεται με υποστήριξη για σειριοποίηση και έλεγχο έκδοσης.
- Το IREE (Intermediate Representation Execution Environment) είναι ένας μεταγλωττιστής και χρόνος εκτέλεσης που μετατρέπει μοντέλα μηχανικής εκμάθησης σε καθολική ενδιάμεση αναπαράσταση με βάση τη μορφή MLIR (Intermediate Multi-Level Representation) του έργου LLVM. Από τα χαρακτηριστικά, επισημαίνεται η δυνατότητα precompilation (εκ των προτέρων), η υποστήριξη για έλεγχο ροής, η δυνατότητα χρήσης δυναμικών στοιχείων σε μοντέλα, η βελτιστοποίηση για διαφορετικές CPU και GPU και η χαμηλή επιβάρυνση.
Σχετικά με τα κύρια πλεονεκτήματα του OpenXLA, αναφέρεται ότι Η βέλτιστη απόδοση έχει επιτευχθεί χωρίς να χρειάζεται να εμβαθύνουμε στη σύνταξη κώδικα ειδικά για τη συσκευή, επιπλέον παρέχει εξωγενείς βελτιστοποιήσεις, συμπεριλαμβανομένης της απλοποίησης των αλγεβρικών παραστάσεων, της αποτελεσματικής κατανομής μνήμης, του προγραμματισμού εκτέλεσης, λαμβάνοντας υπόψη τη μείωση της μέγιστης κατανάλωσης μνήμης και των γενικών εξόδων.
Ένα άλλο πλεονέκτημα είναι το απλοποίηση της κλιμάκωσης και παραλληλισμός των υπολογισμών. Αρκεί ένας προγραμματιστής να προσθέσει σχολιασμούς για ένα υποσύνολο κρίσιμων τανυστών, βάσει των οποίων ο μεταγλωττιστής μπορεί να δημιουργήσει αυτόματα κώδικα για παράλληλους υπολογισμούς.
Τονίζεται επίσης ότι η φορητότητα παρέχεται με υποστήριξη για πολλαπλές πλατφόρμες υλικού, όπως GPU AMD και NVIDIA, επεξεργαστές x86 και ARM, επιταχυντές Google TPU ML, AWS Trainium Inferentia IPU, Graphcore και Wafer-Scale Engine Cerebras.
Υποστήριξη για σύνδεση επεκτάσεων με την υλοποίηση πρόσθετων λειτουργιών, ως υποστήριξη για τη σύνταξη αρχέγονων αρχών βαθιάς μηχανικής μάθησης χρησιμοποιώντας CUDA, HIP, SYCL, Triton και άλλες γλώσσες για παράλληλους υπολογιστές, καθώς και δυνατότητα χειροκίνητης ρύθμισης των σημείων συμφόρησης σε μοντέλα.
Τέλος, εάν ενδιαφέρεστε να μάθετε περισσότερα για αυτό, μπορείτε να συμβουλευτείτε το λεπτομέρειες στον παρακάτω σύνδεσμο.