logo llamafile
Mozilla mengumumkan, melalui catatan blog, lpelepasan penyusun, yang mempunyai sebagai Matlamatnya adalah untuk memudahkan penggunaan beberapa model bahasa yang besar secara dramatik. (LLM) pada hampir mana-mana desktop atau pelayan.
Projek Mozilla baharu dipanggil "llamafile", ia adalah pengkompil sumber terbuka yang boleh mengambil fail parameter model pembelajaran mesin dalam format GGUF dan menukarnya menjadi fail boleh laku yang boleh dijalankan pada enam sistem pengendalian berbeza pada perkakasan AMD64 dan ARM64.
Dan mereka tidak akan membiarkan saya berbohong, tetapi Model bahasa besar (LLM) untuk kegunaan tempatan secara amnya diedarkan dalam pelbagai set, yang berat setiap fail ini biasanya beberapa gigabait. Fail ini tidak boleh digunakan secara langsung dengan sendirinya, yang merumitkan pengedaran dan pelaksanaannya berbanding jenis perisian lain. Selain itu, model tertentu mungkin telah mengalami pengubahsuaian dan pelarasan, yang membawa kepada hasil yang berbeza apabila menggunakan versi yang berbeza.
Mozilla menyedari perkara ini, mengambil tindakan ke atas perkara itu dan untuk menangani cabaran ini, Kumpulan inovasi Mozilla telah melancarkan "llamafile", yang, seperti yang dinyatakan di atas, adalah pengkompil yang menukar LLM menjadi satu fail binari yang mampu berjalan pada enam sistem pengendalian yang berbeza (macOS, Windows, Linux, FreeBSD, OpenBSD dan NetBSD) tanpa memerlukan pemasangan tambahan. Penyelesaian ini sangat memudahkan pengedaran dan pelaksanaan LLM, sambil memastikan ketekalan dan kebolehulangan versi tertentu LLM dari semasa ke semasa.
Mengenai pengkompil llamafile, disebutkan bahawa telah dicipta dengan menggabungkan dua projek: llama.cpp (rangka kerja chatbot LLM sumber terbuka) dan Cosmopolitan Libc (projek sumber terbuka yang membolehkan anda menyusun dan menjalankan program C pada banyak platform dan seni bina). Semasa pelaksanaan, Mozilla menyebut bahawa ia menghadapi cabaran yang menarik dan terpaksa memperluaskan skop Cosmopolitan dengan ketara untuk mencapai objektif yang dinyatakan.
Matlamat kami adalah untuk menjadikan model bahasa sumber terbuka yang besar lebih mudah diakses oleh pembangun dan pengguna akhir. Kami melakukan ini dengan menggabungkan llama.cpp dengan Cosmopolitan Libc ke dalam rangka kerja yang meruntuhkan semua kerumitan LLM menjadi satu fail boleh laku tunggal (dipanggil "fail llama") yang berjalan secara setempat pada kebanyakan komputer, tanpa pemasangan.
Disebutkan bahawa Salah satu matlamat utama llamafile adalah untuk dapat dijalankan pada berbilang arkitek mikro CPU. Di sinilah llama.cpp masuk untuk membenarkan sistem Intel baharu menggunakan ciri pemproses moden tanpa mengorbankan sokongan untuk komputer lama, manakala untuk AMD64 dan ARM64 ini digabungkan menggunakan skrip shell yang memulakan versi yang sesuai. Format fail serasi dengan WIN32 dan kebanyakan cangkerang UNIX.
Cabaran lain yang ditangani ialah isu pemberat fail LLM., yang boleh disepadukan ke dalam fail llama, terima kasih kepada sokongan untuk PKZIP dalam perpustakaan GGML. Ini membenarkan pemberat yang tidak dimampatkan dipetakan terus ke ingatan, sebagai fail pengekstrakan sendiri, dan juga membenarkan pemberat terkuantisasi yang diedarkan dalam talian didahulukan oleh versi perisian yang serasi dipanggil.cpp, memastikan gelagat yang diperhatikan pada asalnya boleh diterbitkan semula selama-lamanya. .
Katakan anda mempunyai set pemberat LLM dalam bentuk fail 4 GB (dalam format GGUF yang biasa digunakan). Dengan llamafile anda boleh mengubah fail 4GB itu menjadi binari yang berjalan pada enam sistem pengendalian tanpa pemasangan.
Akhirnya, harus disebutkan bahawa Mozilla melancarkan projek itu «llamafile» ditulis dalam C/C++ dan diedarkan di bawah lesen Apache, yang menunjukkan lebih sedikit sekatan dari segi kaedah penggunaan dan ketersediaan sumber, berbanding lesen seperti GPL.
Bagi yang berminat untuk mengetahui lebih lanjut mengenainya projek atau sudah mahu menggunakannya, anda boleh merujuk butiran dan/atau panduan ringkas untuk digunakan di pautan berikut.