OpenXLA on kaasarendatud avatud lähtekoodiga ML-i kompilaatori ökosüsteem
Hiljuti esitlesid suurimad masinõppe valdkonna arendusega tegelevad ettevõtted projekt OpenXLA, mis on mõeldud vahendite ühiseks arendamiseks masinõppesüsteemide mudelite koostamiseks ja optimeerimiseks.
Projekt on võtnud vastutuse selliste tööriistade väljatöötamise eest, mis võimaldavad ühtlustada TensorFlow, PyTorchi ja JAX raamistikes koostatud mudelite koostamist tõhusaks koolituseks ja täitmiseks erinevatel GPU-del ja spetsiaalsetel kiirenditel. Projekti ühistööga liitusid sellised ettevõtted nagu Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba ja Amazon.
OpenXLA projekt pakub tipptasemel ML-i kompilaatorit, mida saab skaleerida ML-i infrastruktuuri keerukuse keskel. Selle põhisambad on jõudlus, mastaapsus, kaasaskantavus, paindlikkus ja laiendatavus kasutajate jaoks. OpenXLA-ga püüame avada tehisintellekti tegelik potentsiaal, kiirendades selle arendamist ja tarnimist.
OpenXLA võimaldab arendajatel kompileerida ja optimeerida mudeleid kõigist juhtivatest ML-raamistikest, et tõhusalt treenida ja teenindada mitmesuguseid riistvarasid. OpenXLA-d kasutavad arendajad näevad koolitusaja, jõudluse, teenuse latentsuse ja lõpuks turustamise ja kulude arvutamise aja märkimisväärset paranemist.
Loodetakse, et jõupingutusi ühendades peamistest uurimisrühmadest ja kogukonna esindajatest, on võimalik stimuleerida masinõppesüsteemide arengut ja lahendada erinevate raamistike ja meeskondade infrastruktuuri killustatuse probleem.
OpenXLA võimaldab rakendada tõhusat tuge erinevatele riistvaradele, olenemata raamistikust, millel masinõppemudel põhineb. Eeldatakse, et OpenXLA vähendab mudeli koolitusaega, parandab jõudlust, vähendab latentsust, vähendab andmetöötluse üldkulusid ja vähendab turule jõudmise aega.
OpenXLA koosneb kolmest põhikomponendist, mille koodi levitatakse Apache 2.0 litsentsi all:
- XLA (kiirendatud lineaarne algebra) on kompilaator, mis võimaldab optimeerida masinõppemudeleid suure jõudlusega täitmiseks erinevatel riistvaraplatvormidel, sealhulgas GPU-d, CPU-d ja eri tootjate spetsiaalsed kiirendid.
- StableHLO on kõrgetasemeliste operatsioonide (HLO) komplekti põhispetsifikatsioon ja juurutus, mida kasutatakse masinõppesüsteemi mudelites. See toimib kihina masinõpperaamistike ja kompilaatorite vahel, mis muudavad mudeli konkreetse riistvaraga töötamiseks. Kihid on ette valmistatud StableHLO-vormingus mudelite genereerimiseks PyTorchi, TensorFlow ja JAX-i raamistike jaoks. MHLO komplekti kasutatakse StableHLO aluseks, mida on laiendatud serialiseerimise ja versioonikontrolli toega.
- IREE (Intermediate Representation Execution Environment) on kompilaator ja käituskeskkond, mis teisendab masinõppe mudelid universaalseks vaheesitluseks, mis põhineb LLVM projekti MLIR (Intermediate Multi-Level Representation) vormingul. Funktsioonidest tuuakse esile eelkompileerimise võimalus (enne tähtaega), voo juhtimise tugi, mudelites dünaamiliste elementide kasutamise võimalus, optimeerimine erinevate CPU-de ja GPU-de jaoks ning madal üldkulu.
OpenXLA peamiste eeliste kohta mainitakse, et optimaalne jõudlus on saavutatud ilma koodi kirjutamisse süvenemata seadmepõhine, lisaks pakkuda koheseid optimeerimisi, sealhulgas algebraavaldiste lihtsustamine, tõhus mälujaotus, täitmise ajastamine, võttes arvesse maksimaalse mälutarbimise ja üldkulude vähendamist.
Teine eelis on skaleerimise lihtsustamine ja arvutuste paralleelsus. Piisab, kui arendaja lisab annotatsioonid kriitiliste tensorite alamhulgale, mille põhjal saab kompilaator automaatselt genereerida koodi paralleelarvutuseks.
Samuti tuuakse seda esile kaasaskantavus on varustatud mitme riistvaraplatvormi toega, nagu AMD ja NVIDIA GPU-d, x86- ja ARM-protsessorid, Google'i TPU ML-kiirendid, AWS Trainium Inferentia IPU-d, Graphcore ja Wafer-Scale Engine Cerebras.
Laienduste ühendamise tugi lisafunktsioonide rakendamisega, kui tugi sügavate masinõppe primitiivide kirjutamiseks, kasutades CUDA, HIP, SYCL, Triton ja muid keeli paralleelarvutuseks, samuti pudelikaelade käsitsi reguleerimise võimalus mudelites.
Lõpuks, kui olete huvitatud selle kohta lisateabest, võite pöörduda üksikasjad järgmisel lingil.