llamafile logo
Mozilla ilmoitti blogikirjoituksellaan, että lkääntäjän julkaisu, jolla on as Tavoitteena on yksinkertaistaa dramaattisesti useiden suurten kielimallien käyttöä. (LLM) lähes millä tahansa työpöydällä tai palvelimella.
Uusi Mozilla-projekti nimeltään "llamafile", se on avoimen lähdekoodin kääntäjä joka voi ottaa koneoppimismallin parametritiedoston GGUF-muodossa ja muuntaa sen suoritettavaksi tiedostoksi, joka voi toimia kuudessa eri käyttöjärjestelmässä AMD64- ja ARM64-laitteistolla.
Ja he eivät anna minun valehdella, mutta Paikalliseen käyttöön tarkoitettuja suuria kielimalleja (LLM) jaetaan yleensä eri sarjoiksi, joka kunkin tiedoston paino on yleensä useita gigatavuja. Näitä tiedostoja ei voi suoraan käyttää sellaisenaan, mikä vaikeuttaa sen jakelua ja suorittamista muihin ohjelmistotyyppeihin verrattuna. Lisäksi tiettyä mallia on saatettu muuttaa ja säätää, mikä on johtanut erilaisiin tuloksiin eri versioita käytettäessä.
Mozilla ymmärsi tämän, ryhtyi toimiin asian suhteen ja vastaa tähän haasteeseen, Mozillan innovaatioryhmä on julkaissut "llamafile", joka, kuten edellä mainittiin, on kääntäjä, joka muuntaa LLM:n yhdeksi binääritiedostoksi, joka pystyy toimimaan kuudessa eri käyttöjärjestelmässä (macOS, Windows, Linux, FreeBSD, OpenBSD ja NetBSD) ilman lisäasennusta. Tämä ratkaisu helpottaa suuresti LLM:n jakelua ja toteuttamista samalla, kun se varmistaa tietyn LLM-version johdonmukaisuuden ja toistettavuuden ajan myötä.
Lamafile-kääntäjästä mainitaan, että luotiin yhdistämällä kaksi projektia: llama.cpp (avoimen lähdekoodin LLM-chatbot-kehys) ja Cosmopolitan Libc (avoimen lähdekoodin projekti, jonka avulla voit kääntää ja ajaa C-ohjelmia monilla alustoilla ja arkkitehtuureissa). Toteutuksen aikana Mozilla mainitsee, että se kohtasi mielenkiintoisia haasteita ja joutui merkittävästi laajentamaan Cosmopolitanin ulottuvuutta asetettujen tavoitteiden saavuttamiseksi.
Tavoitteenamme on tehdä suurista avoimen lähdekoodin kielimalleista paljon helpommin saavutettavissa sekä kehittäjille että loppukäyttäjille. Teemme tämän yhdistämällä llama.cpp:n ja Cosmopolitan Libc -kehyksen, joka kokoaa LLM:iden monimutkaisuuden yhdeksi suoritettavaksi tiedostoksi (kutsutaan "llamatiedostoksi"), joka toimii paikallisesti useimmissa tietokoneissa ilman asennusta.
Mainitaan se Yksi llamafilen päätavoitteista oli pystyä toimimaan useilla suorittimen mikroarkkitehtuureilla. Tässä on llama.cpp, jossa uudet Intel-järjestelmät voivat käyttää nykyaikaisten prosessorien ominaisuuksia tinkimättä tuesta vanhemmille tietokoneille, kun taas AMD64:ssä ja ARM64:ssä nämä ketjutetaan käyttämällä komentosarjaa, joka käynnistää oikean version. Tiedostomuoto on yhteensopiva WIN32:n ja useimpien UNIX-kuorien kanssa.
Toinen haaste, johon puututtiin, oli kysymys LLM-tiedostojen painoista., joka voidaan integroida llamatiedostoon GGML-kirjaston PKZIP-tuen ansiosta. Tämä mahdollistaa pakkaamattomien painojen yhdistämisen suoraan muistiin itsepurkautuvana tiedostona ja mahdollistaa myös sen, että verkossa jaettavat kvantisoidut painot voidaan liittää yhteensopivalla ohjelmistoversiolla nimeltä.cpp, mikä varmistaa, että alun perin havaitut käyttäytymiset voidaan toistaa loputtomasti.
Oletetaan, että sinulla on joukko LLM-painoja 4 Gt:n tiedoston muodossa (yleisesti käytetyssä GGUF-muodossa). Lamafile-sovelluksella voit muuntaa tämän 4 Gt:n tiedoston binääritiedostoksi, joka toimii kuudessa käyttöjärjestelmässä ilman asennusta.
Lopuksi on mainittava, että Mozilla käynnisti projektin «llamafile» on kirjoitettu C/C++-kielellä ja jaettu Apache-lisenssillä, mikä merkitsee vähemmän rajoituksia käyttötapojen ja resurssien saatavuuden suhteen verrattuna lisensseihin, kuten GPL.
kuten kiinnostunut oppimaan siitä lisää projektin tai haluat jo käyttää sitä, voit tutustua yksityiskohtiin ja/tai pikaoppaaseen osoitteessa seuraava linkki.