logo lamafile
Mozilla a annoncé, via un article de blog, le lsortie d'un compilateur, qui a comme L’objectif est de simplifier considérablement l’utilisation de plusieurs grands modèles de langage. (LLM) sur presque tous les ordinateurs de bureau ou serveurs.
Le nouveau projet Mozilla appelé «llamafile», c'est un compilateur open source qui peut prendre un fichier de paramètres de modèle d'apprentissage automatique au format GGUF et le convertir en un fichier exécutable pouvant s'exécuter sur six systèmes d'exploitation différents sur le matériel AMD64 et ARM64.
Et ils ne me laisseront pas mentir, mais le Les grands modèles linguistiques (LLM) à usage local sont généralement distribués dans divers ensembles, dont le poids de chacun de ces fichiers est généralement de plusieurs gigaoctets. Ces fichiers ne sont pas directement utilisables par eux-mêmes, ce qui complique sa distribution et son exécution par rapport à d’autres types de logiciels. De plus, un modèle spécifique peut avoir subi des modifications et des ajustements, conduisant à des résultats différents lors de l'utilisation de différentes versions.
Mozilla s'en est rendu compte, a pris des mesures en la matière et pour relever ce défi, Le groupe d'innovation de Mozilla a lancé "llamafile", qui, comme mentionné ci-dessus, est un compilateur qui convertit le LLM en un seul fichier binaire capable de fonctionner sur six systèmes d'exploitation différents (macOS, Windows, Linux, FreeBSD, OpenBSD et NetBSD) sans avoir besoin d'installation supplémentaire. Cette solution facilite grandement la diffusion et l’exécution de LLM, tout en assurant la cohérence et la reproductibilité d’une version spécifique de LLM dans le temps.
A propos du compilateur llamafile, il est mentionné que a été créé en combinant deux projets : llama.cpp (un framework de chatbot LLM open source) et Cosmopolitan Libc (un projet open source qui vous permet de compiler et d'exécuter des programmes C sur de nombreuses plateformes et architectures). Lors de la mise en œuvre, Mozilla mentionne qu'elle a été confrontée à des défis intéressants et qu'elle a dû élargir considérablement la portée de Cosmopolitan pour atteindre les objectifs déclarés.
Notre objectif est de rendre les grands modèles de langage open source beaucoup plus accessibles aux développeurs et aux utilisateurs finaux. Nous faisons cela en combinant llama.cpp avec Cosmopolitan Libc dans un cadre qui regroupe toute la complexité des LLM en un seul fichier exécutable (appelé « llamafile ») qui s'exécute localement sur la plupart des ordinateurs, sans installation.
Il est mentionné que L'un des principaux objectifs de lamafile était de pouvoir fonctionner sur plusieurs microarchitectures CPU. C'est là qu'intervient llama.cpp pour permettre aux nouveaux systèmes Intel d'utiliser les fonctionnalités des processeurs modernes sans sacrifier la prise en charge des ordinateurs plus anciens, tandis que pour AMD64 et ARM64, ceux-ci sont concaténés à l'aide d'un script shell qui démarre la version appropriée. Le format de fichier est compatible avec WIN32 et la plupart des shells UNIX.
Un autre défi qui a été abordé était la question du poids des dossiers LLM., qui peut être intégré dans llamafile, grâce au support de PKZIP dans la bibliothèque GGML. Cela permet aux poids non compressés d'être mappés directement dans la mémoire, sous forme de fichier auto-extractible, et permet également aux poids quantifiés distribués en ligne d'être préfixés par une version compatible du logiciel appelée.cpp, garantissant ainsi que les comportements initialement observés peuvent être reproduits indéfiniment.
Supposons que vous disposiez d'un ensemble de poids LLM sous la forme d'un fichier de 4 Go (au format GGUF couramment utilisé). Avec llamafile, vous pouvez transformer ce fichier de 4 Go en un binaire qui s'exécute sur six systèmes d'exploitation sans installation.
Enfin, il convient de mentionner que Mozilla a lancé le projet «llamafile» écrit en C/C++ et distribué sous licence Apache, ce qui implique moins de restrictions en termes de modalités d'utilisation et de disponibilité des ressources, par rapport aux licences comme la GPL.
En ce qui concerne intéressé à en savoir plus le projet ou souhaitez déjà l'utiliser, vous pouvez consulter les détails et/ou le guide rapide d'utilisation sur le lien suivant.