OpenXLA je společně vyvinutý open source ekosystém kompilátoru ML
Nedávno, představily největší společnosti zabývající se vývojem v oblasti strojového učení Projekt OpenXLA, určený pro společný vývoj nástrojů kompilovat a optimalizovat modely pro systémy strojového učení.
Projekt si vzal na starost vývoj nástrojů, které umožňují sjednotit kompilaci modelů připravených v rámci TensorFlow, PyTorch a JAX pro efektivní školení a spouštění na různých GPU a specializovaných akcelerátorech. Ke společné práci na projektu se připojily společnosti jako Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba a Amazon.
Projekt OpenXLA poskytuje nejmodernější kompilátor ML, který lze škálovat v rámci složitosti infrastruktury ML. Jeho základními pilíři jsou výkon, škálovatelnost, přenositelnost, flexibilita a rozšiřitelnost pro uživatele. S OpenXLA se snažíme odemknout skutečný potenciál umělé inteligence urychlením jejího vývoje a poskytování.
OpenXLA umožňuje vývojářům kompilovat a optimalizovat modely ze všech předních ML frameworků pro efektivní školení a servis na široké škále hardwaru. Vývojáři používající OpenXLA zaznamenají výrazné zlepšení v době školení, výkonu, latenci služeb a v konečném důsledku i v době uvedení na trh a výpočtu nákladů.
Doufáme, že společným úsilím hlavních výzkumných týmů a zástupců komunity, bude možné stimulovat vývoj systémů strojového učení a vyřešit problém fragmentace infrastruktury pro různé rámce a týmy.
OpenXLA umožňuje implementovat efektivní podporu pro různý hardware, bez ohledu na rámec, na kterém je model strojového učení založen. Očekává se, že OpenXLA zkrátí dobu školení modelu, zlepší výkon, sníží latenci, sníží výpočetní režii a zkrátí dobu uvedení na trh.
OpenXLA se skládá ze tří hlavních složek, jehož kód je distribuován pod licencí Apache 2.0:
- XLA (accelerated linear algebra) je kompilátor, který umožňuje optimalizovat modely strojového učení pro vysoce výkonné provádění na různých hardwarových platformách, včetně GPU, CPU a specializovaných akcelerátorů od různých výrobců.
- StableHLO je základní specifikace a implementace sady operací na vysoké úrovni (HLO) pro použití v modelech systémů strojového učení. Funguje jako vrstva mezi frameworky strojového učení a kompilátory, které transformují model tak, aby běžel na konkrétním hardwaru. Vrstvy jsou připraveny pro generování modelů ve formátu StableHLO pro frameworky PyTorch, TensorFlow a JAX. Jako základ pro StableHLO je použita sada MHLO, která je rozšířena o podporu serializace a správy verzí.
- IREE (Intermediate Representation Execution Environment) je kompilátor a běhové prostředí, které převádí modely strojového učení do univerzální střední reprezentace založené na formátu MLIR (Intermediate Multi-Level Representation) projektu LLVM. Z funkcí je vyzdvihována možnost předkompilace (v předstihu), podpora řízení toku, možnost využití dynamických prvků v modelech, optimalizace pro různá CPU a GPU a nízká režie.
Pokud jde o hlavní výhody OpenXLA, je zmíněno, že bylo dosaženo optimálního výkonu, aniž byste se museli ponořit do psaní kódu specifické pro zařízení, kromě toho poskytovat okamžité optimalizace, včetně zjednodušení algebraických výrazů, efektivní alokace paměti, plánování provádění s přihlédnutím ke snížení maximální spotřeby paměti a režie.
Další výhodou je zjednodušení škálování a paralelizace výpočtů. Vývojáři stačí přidat anotace pro podmnožinu kritických tenzorů, na jejichž základě může překladač automaticky generovat kód pro paralelní výpočty.
To je také zdůrazněno přenositelnost je poskytována s podporou více hardwarových platforem, jako jsou AMD a NVIDIA GPU, x86 a ARM CPU, Google TPU ML akcelerátory, AWS Trainium Inferentia IPU, Graphcore a Wafer-Scale Engine Cerebras.
Podpora připojení rozšíření s implementací dalších funkcí, jako podpora pro psaní primitiv hlubokého strojového učení pomocí jazyků CUDA, HIP, SYCL, Triton a dalších jazyků pro paralelní výpočty, stejně jako možnost ručního nastavení úzkých míst v modelech.
Nakonec, pokud máte zájem o tom vědět více, můžete se obrátit na podrobnosti v následujícím odkazu.