OpenXLA är ett samutvecklat ML-kompilatorekosystem med öppen källkod
nyligen presenterade de största företagen som ägnar sig åt utveckling inom området maskininlärning projektet Openxla, avsedd för gemensam utveckling av verktyg att sammanställa och optimera modeller för maskininlärningssystem.
Projektet har tagit hand om utvecklingen av verktyg som gör det möjligt att förena sammanställningen av modeller förberedda i TensorFlow, PyTorch och JAX ramverk för effektiv träning och exekvering på olika GPU:er och specialiserade acceleratorer. Företag som Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba och Amazon gick med i projektets gemensamma arbete.
OpenXLA-projektet tillhandahåller en toppmodern ML-kompilator som kan skalas mitt i komplexiteten i ML-infrastrukturen. Dess grundpelare är prestanda, skalbarhet, portabilitet, flexibilitet och utbyggbarhet för användarna. Med OpenXLA strävar vi efter att låsa upp den verkliga potentialen hos AI genom att påskynda utvecklingen och leveransen.
OpenXLA gör det möjligt för utvecklare att kompilera och optimera modeller från alla ledande ML-ramverk för effektiv utbildning och service på en mängd olika hårdvara. Utvecklare som använder OpenXLA kommer att se betydande förbättringar i utbildningstid, prestanda, servicefördröjning och i slutändan time to market och beräkningskostnader.
Förhoppningen är att genom att gå med ansträngningar av de viktigaste forskarlagen och representanter för samhället, det kommer att vara möjligt att stimulera utvecklingen av maskininlärningssystem och lösa problemet med fragmentering av infrastruktur för olika ramverk och team.
OpenXLA gör det möjligt att implementera effektivt stöd för olika hårdvara, oavsett vilket ramverk som maskininlärningsmodellen bygger på. OpenXLA förväntas minska modellutbildningstiden, förbättra prestanda, minska latens, minska beräkningskostnader och minska tiden till marknaden.
Openxla består av tre huvudkomponenter, vars kod distribueras under Apache 2.0-licensen:
- XLA (accelerated linear algebra) är en kompilator som låter dig optimera maskininlärningsmodeller för högpresterande exekvering på olika hårdvaruplattformar, inklusive GPU:er, processorer och specialiserade acceleratorer från olika tillverkare.
- StableHLO är en grundläggande specifikation och implementering av en uppsättning High-Level Operations (HLO) för användning i modeller för maskininlärningssystem. Den fungerar som ett lager mellan ramverk för maskininlärning och kompilatorer som omvandlar modellen till att köras på specifik hårdvara. Lager är förberedda för att generera modeller i StableHLO-format för PyTorch, TensorFlow och JAX ramverk. MHLO-sviten används som bas för StableHLO, som utökas med stöd för serialisering och versionskontroll.
- IREE (Intermediate Representation Execution Environment) är en kompilator och körtid som konverterar maskininlärningsmodeller till en universell mellanrepresentation baserad på MLIR-formatet (Intermediate Multi-Level Representation) i LLVM-projektet. Av funktionerna framhävs möjligheten till förkompilering (i förväg), stöd för flödeskontroll, möjligheten att använda dynamiska element i modeller, optimering för olika CPU:er och GPU:er samt låg overhead.
Angående de huvudsakliga fördelarna med OpenXLA nämns det att optimal prestanda har uppnåtts utan att behöva fördjupa sig i att skriva kod enhetsspecifika, förutom tillhandahålla direkta optimeringar, inklusive förenkling av algebraiska uttryck, effektiv minnesallokering, exekveringsschemaläggning, med hänsyn tagen till minskningen av maximal minnesförbrukning och omkostnader.
En annan fördel är förenkling av skalning och parallellisering av beräkningar. Det räcker för en utvecklare att lägga till kommentarer för en delmängd av kritiska tensorer, på basis av vilka kompilatorn automatiskt kan generera kod för parallell beräkning.
Det framhävs också att portabilitet tillhandahålls med stöd för flera hårdvaruplattformar, som AMD- och NVIDIA-GPU:er, x86- och ARM-processorer, Google TPU ML Accelerators, AWS Trainium Inferentia IPU:er, Graphcore och Wafer-Scale Engine Cerebras.
Stöd för att ansluta tillägg med implementering av ytterligare funktioner, som stöd för att skriva djupa primitiver för maskininlärning med CUDA, HIP, SYCL, Triton och andra språk för parallell beräkning, samt möjlighet till manuell justering av flaskhalsar i modeller.
Slutligen, om du är intresserad av att veta mer om det, kan du konsultera detaljer i följande länk.