llamafile logotyp
Mozilla tillkännagav, genom ett blogginlägg, lsläppa en kompilator, som har som Målet är att dramatiskt förenkla användningen av flera stora språkmodeller. (LLM) på nästan vilken dator eller server som helst.
Det nya Mozilla-projektet kallas "llamafile", det är en kompilator med öppen källkod som kan ta en maskininlärningsmodellparameterfil i GGUF-format och konvertera den till en körbar fil som kan köras på sex olika operativsystem på AMD64- och ARM64-hårdvara.
Och de låter mig inte ljuga, utan de Stora språkmodeller (LLM) för lokalt bruk distribueras i allmänhet i olika uppsättningar, där vikten av var och en av dessa filer vanligtvis är flera gigabyte. Dessa filer är inte direkt användbara av sig själva, vilket komplicerar dess distribution och exekvering jämfört med andra typer av programvara. Dessutom kan en specifik modell ha genomgått modifieringar och justeringar, vilket leder till olika resultat när olika versioner används.
Mozilla insåg detta, vidtog åtgärder i frågan och för att ta itu med denna utmaning, Mozillas innovationsgrupp har lanserat "llamafile", som, som nämnts ovan, är en kompilator som konverterar LLM till en enda binär fil som kan köras på sex olika operativsystem (macOS, Windows, Linux, FreeBSD, OpenBSD och NetBSD) utan behov av ytterligare installation. Denna lösning underlättar avsevärt distributionen och exekveringen av LLM, samtidigt som den säkerställer konsistensen och reproducerbarheten för en specifik version av LLM över tiden.
Om lamafilkompilatorn nämns det att skapades genom att kombinera två projekt: llama.cpp (ett ramverk för öppen källkod för LLM chatbot) och Cosmopolitan Libc (ett projekt med öppen källkod som låter dig kompilera och köra C-program på många plattformar och arkitekturer). Under implementeringen nämner Mozilla att de stod inför intressanta utmaningar och var tvungen att avsevärt utöka omfattningen av Cosmopolitan för att uppnå de angivna målen.
Vårt mål är att göra stora språkmodeller med öppen källkod mycket mer tillgängliga för både utvecklare och slutanvändare. Vi gör detta genom att kombinera llama.cpp med Cosmopolitan Libc till ett ramverk som kollapsar all komplexitet hos LLM till en enda körbar fil (kallad en "llamafil") som körs lokalt på de flesta datorer, utan installation.
Det nämns det Ett av huvudmålen med llamafile var att kunna köras på flera CPU-mikroarkitekturer. Det är här llama.cpp kommer in för att låta nya Intel-system använda funktionerna hos moderna processorer utan att offra stöd för äldre datorer, medan dessa för AMD64 och ARM64 sammanfogas med hjälp av ett skalskript som startar lämplig version. Filformatet är kompatibelt med WIN32 och de flesta UNIX-skal.
En annan utmaning som togs upp var frågan om vikten av LLM-filerna., som kan integreras i llamafile, tack vare stödet för PKZIP i GGML-biblioteket. Detta gör att okomprimerade vikter kan mappas direkt till minnet, som en självextraherande fil, och tillåter även kvantiserade vikter som distribueras online att prefixas av en kompatibel version av programvaran som heter.cpp, vilket säkerställer att ursprungligen observerade beteenden kan reproduceras på obestämd tid. .
Anta att du har en uppsättning LLM-vikter i form av en 4 GB-fil (i det vanliga GGUF-formatet). Med llamafile kan du omvandla den där 4GB-filen till en binär fil som körs på sex operativsystem utan installation.
Slutligen bör det nämnas att Mozilla lanserade projektet «llamafile» skriven i C/C++ och distribuerad under Apache-licensen, vilket innebär färre begränsningar när det gäller metoder för användning och tillgänglighet av resurser, jämfört med licenser som GPL.
Som för intresserad av att lära sig mer om det projektet eller redan vill använda det, kan du konsultera detaljerna och/eller snabbguiden att använda på följande länk.