llamafile logotipas
„Mozilla“ dienoraščio įraše paskelbė, kad lkompiliatoriaus išleidimas, kuris turi kaip Tikslas yra labai supaprastinti kelių didelių kalbų modelių naudojimą. (LLM) beveik bet kuriame darbalaukyje ar serveryje.
Naujas Mozilla projektas vadinamas „llamafile“, tai yra atvirojo kodo kompiliatorius kuris gali paimti mašininio mokymosi modelio parametrų failą GGUF formatu ir konvertuoti jį į vykdomąjį failą, kuris gali veikti šešiose skirtingose AMD64 ir ARM64 aparatinės įrangos operacinėse sistemose.
Ir jie neleis man meluoti, bet Vietiniam naudojimui skirti didelių kalbų modeliai (LLM) paprastai platinami įvairiais rinkiniais, kurio kiekvieno iš šių failų svoris paprastai yra keli gigabaitai. Šie failai nėra tiesiogiai naudojami patys, o tai apsunkina jos platinimą ir vykdymą, palyginti su kitų tipų programine įranga. Be to, konkretus modelis gali būti modifikuotas ir pakoreguotas, todėl naudojant skirtingas versijas gaunami skirtingi rezultatai.
„Mozilla“ tai suprato, ėmėsi veiksmų šiuo klausimu ir išsprendė šį iššūkį, „Mozilla“ inovacijų grupė išleido „lamafile“, kuris, kaip minėta aukščiau, yra kompiliatorius, konvertuojantis LLM į vieną dvejetainį failą, galintį veikti šešiose skirtingose operacinėse sistemose (macOS, Windows, Linux, FreeBSD, OpenBSD ir NetBSD) be papildomo diegimo. Šis sprendimas labai palengvina LLM platinimą ir vykdymą, kartu užtikrindamas konkrečios LLM versijos nuoseklumą ir atkuriamumą laikui bėgant.
Apie llamafile kompiliatorių minima, kad buvo sukurtas sujungus du projektus: llama.cpp (atvirojo kodo LLM pokalbių roboto sistema) ir Cosmopolitan Libc (atvirojo kodo projektas, leidžiantis kompiliuoti ir paleisti C programas daugelyje platformų ir architektūrų). Diegimo metu „Mozilla“ mini, kad susidūrė su įdomiais iššūkiais ir turėjo gerokai išplėsti „Cosmopolitan“ apimtį, kad pasiektų užsibrėžtus tikslus.
Mūsų tikslas yra padaryti didelius atvirojo kodo kalbų modelius daug prieinamesnius tiek kūrėjams, tiek galutiniams vartotojams. Tai darome sujungdami llama.cpp su Cosmopolitan Libc į sistemą, kuri visą LLM sudėtingumą sutraukia į vieną vykdomąjį failą (vadinamą „lamafile“), kuris veikia vietoje daugumoje kompiuterių be diegimo.
Minima, kad Vienas iš pagrindinių „Lamafile“ tikslų buvo galimybė veikti naudojant kelias procesoriaus mikroarchitektūras. Čia atsiranda llama.cpp, leidžianti naujoms „Intel“ sistemoms naudoti šiuolaikinių procesorių ypatybes, neprarandant senesnių kompiuterių palaikymo, o AMD64 ir ARM64 atveju jie sujungiami naudojant apvalkalo scenarijų, kuris paleidžia atitinkamą versiją. Failo formatas suderinamas su WIN32 ir dauguma UNIX apvalkalų.
Kitas iššūkis, kuris buvo sprendžiamas, buvo LLM failų svorio klausimas., kurią galima integruoti į llamafile, nes GGML bibliotekoje palaikomas PKZIP. Tai leidžia nesuspaustus svorius tiesiogiai susieti su atmintimi kaip savaime išskleidžiamą failą, taip pat leidžia internete platinamus kvantuotus svorius pridėti suderinamos programinės įrangos versijos pavadinimu.cpp, taip užtikrinant, kad iš pradžių pastebėtas elgesys gali būti atkurtas neribotą laiką.
Tarkime, kad turite LLM svorių rinkinį 4 GB failo pavidalu (dažniausiai naudojamu GGUF formatu). Naudodami llamafile galite konvertuoti tą 4 GB failą į dvejetainį failą, kuris veikia šešiose operacinėse sistemose be diegimo.
Galiausiai reikėtų paminėti tai „Mozilla“ pradėjo projektą „llamafile“, parašyta C/C++ ir platinama pagal Apache licenciją, o tai reiškia mažiau apribojimų, susijusių su naudojimo metodais ir išteklių prieinamumu, palyginti su tokiomis licencijomis kaip GPL.
kaip nori sužinoti daugiau apie tai projektą arba jau norite jį naudoti, galite peržiūrėti išsamią informaciją ir (arba) trumpą naudojimo vadovą šią nuorodą.