lamabestand-logo
Mozilla kondigde via een blogpost de lrelease van een compiler, die heeft als Het doel is om het gebruik van verschillende grote taalmodellen dramatisch te vereenvoudigen. (LLM) op vrijwel elke desktop of server.
Het nieuwe Mozilla-project genaamd "llamafile", het is een open source compiler die een machine learning-modelparameterbestand in GGUF-formaat kan omzetten in een uitvoerbaar bestand dat kan draaien op zes verschillende besturingssystemen op AMD64- en ARM64-hardware.
En ze laten me niet liegen, maar de Grote taalmodellen (LLM's) voor lokaal gebruik worden over het algemeen in verschillende sets verdeeld, waarbij het gewicht van elk van deze bestanden meestal enkele gigabytes bedraagt. Deze bestanden zijn op zichzelf niet direct bruikbaar, wat de distributie en uitvoering ervan bemoeilijkt in vergelijking met andere soorten software. Bovendien kan een specifiek model wijzigingen en aanpassingen hebben ondergaan, wat tot verschillende resultaten heeft geleid bij het gebruik van verschillende versies.
Mozilla besefte dit, ondernam actie in deze kwestie en om deze uitdaging aan te pakken, Mozilla's innovatiegroep heeft "llamafile" gelanceerd, wat, zoals hierboven vermeld, een compiler is die de LLM omzet in een enkel binair bestand dat op zes verschillende besturingssystemen kan draaien (macOS, Windows, Linux, FreeBSD, OpenBSD en NetBSD) zonder dat er extra installatie nodig is. Deze oplossing vergemakkelijkt de distributie en uitvoering van LLM aanzienlijk, terwijl de consistentie en reproduceerbaarheid van een specifieke versie van LLM in de loop van de tijd wordt gegarandeerd.
Over de llamafile-compiler wordt dat vermeld is ontstaan door het combineren van twee projecten: llama.cpp (een open source LLM chatbotframework) en Cosmopolitan Libc (een open source-project waarmee u C-programma's op veel platforms en architecturen kunt compileren en uitvoeren). Tijdens de implementatie vermeldt Mozilla dat het voor interessante uitdagingen stond en de reikwijdte van Cosmopolitan aanzienlijk moest uitbreiden om de gestelde doelstellingen te bereiken.
Ons doel is om grote open source-taalmodellen veel toegankelijker te maken voor zowel ontwikkelaars als eindgebruikers. We doen dit door llama.cpp te combineren met Cosmopolitan Libc in een raamwerk dat alle complexiteit van LLM's samenvoegt in één enkel uitvoerbaar bestand (een "llamabestand" genoemd) dat lokaal op de meeste computers draait, zonder installatie.
Er wordt gezegd dat Een van de belangrijkste doelen van llamafile was om op meerdere CPU-microarchitecturen te kunnen draaien. Dit is waar llama.cpp in beeld komt om nieuwe Intel-systemen in staat te stellen de functies van moderne processors te gebruiken zonder de ondersteuning voor oudere computers op te offeren, terwijl deze voor AMD64 en ARM64 worden samengevoegd met behulp van een shell-script dat de juiste versie start. Het bestandsformaat is compatibel met WIN32 en de meeste UNIX-shells.
Een andere uitdaging die werd aangepakt was de kwestie van de gewichten van de LLM-bestanden., die kan worden geïntegreerd in llamafile, dankzij de ondersteuning voor PKZIP in de GGML-bibliotheek. Hierdoor kunnen ongecomprimeerde gewichten rechtstreeks in het geheugen worden opgeslagen, als een zelfuitpakkend bestand, en kunnen gekwantiseerde gewichten die online worden verspreid, worden voorafgegaan door een compatibele versie van de software genaamd.cpp, waardoor wordt gegarandeerd dat oorspronkelijk waargenomen gedrag voor onbepaalde tijd kan worden gereproduceerd.
Stel dat u een set LLM-gewichten heeft in de vorm van een bestand van 4 GB (in het veelgebruikte GGUF-formaat). Met llamafile kun je dat bestand van 4 GB omzetten in een binair bestand dat zonder installatie op zes besturingssystemen draait.
Ten slotte moet dat worden vermeld Mozilla lanceerde het project «llamafile» geschreven in C/C++ en gedistribueerd onder de Apache-licentie, wat minder beperkingen met zich meebrengt in termen van gebruiksmethoden en beschikbaarheid van bronnen, vergeleken met licenties zoals de GPL.
Wat geïnteresseerd om er meer over te leren het project heeft of al wilt gebruiken, kunt u de details en/of de korte handleiding raadplegen op de volgende link.