OpenXLA ir kopīgi izstrādāta atvērtā koda ML kompilatoru ekosistēma
Nesen prezentēja lielākie uzņēmumi, kas nodarbojas ar attīstību mašīnmācības jomā projektu OpenXLA, kas paredzētas kopīgai instrumentu izstrādei lai apkopotu un optimizētu modeļus mašīnmācības sistēmām.
Projekts ir uzņēmies atbildību par rīku izstrādi, kas ļauj apvienot TensorFlow, PyTorch un JAX ietvaros sagatavoto modeļu apkopojumu efektīvai apmācībai un izpildei uz dažādiem GPU un specializētiem paātrinātājiem. Projekta kopīgajam darbam pievienojās tādi uzņēmumi kā Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba un Amazon.
OpenXLA projekts nodrošina vismodernāko ML kompilatoru, kas var tikt mērogots ML infrastruktūras sarežģītības apstākļos. Tās galvenie pīlāri ir veiktspēja, mērogojamība, pārnesamība, elastība un paplašināmība lietotājiem. Izmantojot OpenXLA, mēs cenšamies atraisīt AI reālo potenciālu, paātrinot tā izstrādi un piegādi.
OpenXLA ļauj izstrādātājiem apkopot un optimizēt modeļus no visiem vadošajiem ML ietvariem, lai efektīvi apmācītu un apkalpotu visdažādāko aparatūru. Izstrādātāji, kas izmanto OpenXLA, redzēs būtiskus uzlabojumus apmācības laikā, veiktspējā, pakalpojuma latentumā un galu galā arī tirgū un izmaksu aprēķināšanas laikā.
Cerams, ka, apvienojot spēkus no galvenajām pētnieku grupām un kopienas pārstāvjiem, būs iespējams stimulēt mašīnmācīšanās sistēmu attīstību un atrisināt infrastruktūras sadrumstalotības problēmu dažādiem ietvariem un komandām.
OpenXLA ļauj ieviest efektīvu atbalstu dažādām aparatūrām, neatkarīgi no ietvara, uz kura balstās mašīnmācīšanās modelis. Paredzams, ka OpenXLA samazinās modeļa apmācības laiku, uzlabos veiktspēju, samazinās latentumu, samazinās skaitļošanas izmaksas un saīsinās laiku, kas nepieciešams, lai tas nonāktu tirgū.
OpenXLA sastāv no trim galvenajām sastāvdaļām, kura kods tiek izplatīts saskaņā ar Apache 2.0 licenci:
- XLA (paātrinātā lineārā algebra) ir kompilators, kas ļauj optimizēt mašīnmācīšanās modeļus augstas veiktspējas izpildei dažādās aparatūras platformās, tostarp GPU, CPU un dažādu ražotāju specializētos paātrinātos.
- StableHLO ir augsta līmeņa operāciju (HLO) kopas pamata specifikācija un ieviešana lietošanai mašīnmācīšanās sistēmu modeļos. Tas darbojas kā slānis starp mašīnmācīšanās ietvariem un kompilatoriem, kas pārveido modeli, lai tas darbotos uz noteiktas aparatūras. Slāņi ir sagatavoti, lai ģenerētu modeļus StableHLO formātā PyTorch, TensorFlow un JAX ietvariem. MHLO komplekts tiek izmantots kā StableHLO pamats, kas ir paplašināts ar atbalstu serializācijai un versiju kontrolei.
- IREE (Intermediate Representation Execution Environment) ir kompilators un izpildlaiks, kas pārvērš mašīnmācīšanās modeļus universālā starpattēlā, pamatojoties uz LLVM projekta MLIR (Intermediate Multi-Level Representation) formātu. No funkcijām tiek izcelta priekškompilācijas iespēja (pirms laika), plūsmas vadības atbalsts, iespēja izmantot dinamiskos elementus modeļos, optimizācija dažādiem CPU un GPU un zema pieskaitāmā.
Runājot par galvenajām OpenXLA priekšrocībām, tiek minēts, ka ir sasniegta optimālā veiktspēja, neiedziļinoties koda rakstīšanā ierīcei specifiski, papildus nodrošināt tūlītēju optimizāciju, tai skaitā algebrisko izteiksmju vienkāršošana, efektīva atmiņas piešķiršana, izpildes plānošana, ņemot vērā maksimālā atmiņas patēriņa un pieskaitāmo izmaksu samazināšanu.
Vēl viena priekšrocība ir mērogošanas un aprēķinu paralelizācijas vienkāršošana. Izstrādātājam pietiek pievienot anotācijas kritisko tensoru apakškopai, uz kuru pamata kompilators var automātiski ģenerēt kodu paralēlai skaitļošanai.
Tas ir arī izcelts pārnesamība tiek nodrošināta ar atbalstu vairākām aparatūras platformām, piemēram, AMD un NVIDIA GPU, x86 un ARM CPU, Google TPU ML paātrinātāji, AWS Trainium Inferentia IPU, Graphcore un Wafer-Scale Engine Cerebras.
Atbalsts paplašinājumu savienošanai ar papildu funkciju ieviešanu, kā atbalsts dziļu mašīnmācīšanās primitīvu rakstīšanai, izmantojot CUDA, HIP, SYCL, Triton un citas valodas paralēlai skaitļošanai, kā arī iespēja manuāli regulēt vājās vietas modeļos.
Visbeidzot, ja vēlaties uzzināt vairāk par to, varat konsultēties ar sīkāka informācija šajā saitē.