llamafile લોગો
મોઝિલાએ એક બ્લોગ પોસ્ટ દ્વારા જાહેરાત કરી, એલકમ્પાઇલરનું પ્રકાશન, જેની પાસે છે ધ્યેય ઘણા મોટા ભાષા મોડેલોના ઉપયોગને નાટ્યાત્મક રીતે સરળ બનાવવાનો છે. (LLM) લગભગ કોઈપણ ડેસ્કટોપ અથવા સર્વર પર.
નવો મોઝિલા પ્રોજેક્ટ "llamafile" કહેવાય છે, તે એક ઓપન સોર્સ કમ્પાઇલર છે જે GGUF ફોર્મેટમાં મશીન લર્નિંગ મોડલ પેરામીટર ફાઇલ લઇ શકે છે અને તેને એક્ઝિક્યુટેબલ ફાઇલમાં કન્વર્ટ કરી શકે છે જે AMD64 અને ARM64 હાર્ડવેર પર છ અલગ અલગ ઓપરેટિંગ સિસ્ટમ પર ચાલી શકે છે.
અને તેઓ મને જૂઠું બોલવા દેશે નહીં, પરંતુ સ્થાનિક ઉપયોગ માટે મોટા લેંગ્વેજ મોડલ (LLM) સામાન્ય રીતે વિવિધ સેટમાં વિતરિત કરવામાં આવે છે, જે આ દરેક ફાઇલનું વજન સામાન્ય રીતે કેટલાક ગીગાબાઇટ્સ હોય છે. આ ફાઇલો પોતાના દ્વારા સીધી રીતે ઉપયોગમાં લેવા યોગ્ય નથી, જે અન્ય પ્રકારના સોફ્ટવેરની સરખામણીમાં તેના વિતરણ અને અમલીકરણને જટિલ બનાવે છે. વધુમાં, ચોક્કસ મોડેલમાં ફેરફારો અને ગોઠવણો થઈ શકે છે, જે વિવિધ સંસ્કરણોનો ઉપયોગ કરતી વખતે વિવિધ પરિણામો તરફ દોરી જાય છે.
મોઝિલાને આ સમજાયું, આ બાબતે પગલાં લીધાં અને આ પડકારને પહોંચી વળવા, મોઝિલાના ઇનોવેશન ગ્રૂપે "llamafile" લોન્ચ કર્યું છે. જે, ઉપર જણાવ્યા મુજબ, એક કમ્પાઈલર છે જે LLM ને વધારાની ઇન્સ્ટોલેશનની જરૂર વગર છ અલગ અલગ ઓપરેટિંગ સિસ્ટમ્સ (macOS, Windows, Linux, FreeBSD, OpenBSD અને NetBSD) પર ચલાવવા માટે સક્ષમ સિંગલ બાઈનરી ફાઇલમાં રૂપાંતરિત કરે છે. આ સોલ્યુશન એલએલએમના વિતરણ અને અમલીકરણમાં મોટા પ્રમાણમાં સુવિધા આપે છે, જ્યારે સમય જતાં એલએલએમના ચોક્કસ સંસ્કરણની સુસંગતતા અને પુનઃઉત્પાદનક્ષમતા સુનિશ્ચિત કરે છે.
llamafile કમ્પાઇલર વિશે, તે ઉલ્લેખિત છે કે બે પ્રોજેક્ટ્સને જોડીને બનાવવામાં આવ્યું હતું: llama.cpp (એક ઓપન સોર્સ LLM ચેટબોટ ફ્રેમવર્ક) અને Cosmopolitan Libc (એક ઓપન સોર્સ પ્રોજેક્ટ કે જે તમને ઘણા પ્લેટફોર્મ્સ અને આર્કિટેક્ચર્સ પર C પ્રોગ્રામ્સ કમ્પાઈલ અને ચલાવવા માટે પરવાનગી આપે છે). અમલીકરણ દરમિયાન, મોઝિલાએ ઉલ્લેખ કર્યો છે કે તેને રસપ્રદ પડકારોનો સામનો કરવો પડ્યો હતો અને ઉલ્લેખિત ઉદ્દેશો હાંસલ કરવા માટે કોસ્મોપોલિટનનો વ્યાપ નોંધપાત્ર રીતે વિસ્તારવો પડ્યો હતો.
અમારો ધ્યેય મોટા ઓપન સોર્સ લેંગ્વેજ મોડલ્સને વિકાસકર્તાઓ અને અંતિમ વપરાશકર્તાઓ બંને માટે વધુ સુલભ બનાવવાનો છે. અમે llama.cpp ને Cosmopolitan Libc સાથે એક ફ્રેમવર્કમાં સંયોજિત કરીને આ કરી રહ્યા છીએ જે LLM ની તમામ જટિલતાને એક જ એક્ઝિક્યુટેબલ ફાઇલ (જેને "llamafile" કહેવાય છે) માં સંકુચિત કરે છે જે મોટાભાગના કમ્પ્યુટર્સ પર સ્થાનિક રીતે, ઇન્સ્ટોલેશન વિના ચાલે છે.
તેવો ઉલ્લેખ છે llamafile ના મુખ્ય ધ્યેયો પૈકી એક બહુવિધ CPU માઇક્રોઆર્કિટેક્ચર્સ પર ચલાવવા માટે સક્ષમ બનવું હતું. આ તે સ્થાન છે જ્યાં llama.cpp નવી ઇન્ટેલ સિસ્ટમ્સને જૂના કમ્પ્યુટર્સ માટે સમર્થનને બલિદાન આપ્યા વિના આધુનિક પ્રોસેસર્સની સુવિધાઓનો ઉપયોગ કરવાની મંજૂરી આપવા માટે આવે છે, જ્યારે AMD64 અને ARM64 માટે આ શેલ સ્ક્રિપ્ટનો ઉપયોગ કરીને જોડવામાં આવે છે જે યોગ્ય સંસ્કરણ શરૂ કરે છે. ફાઇલ ફોર્મેટ WIN32 અને મોટાભાગના UNIX શેલો સાથે સુસંગત છે.
અન્ય પડકાર જે સંબોધવામાં આવ્યો હતો તે એલએલએમ ફાઇલોના વજનનો મુદ્દો હતો., જે llamafile માં સંકલિત કરી શકાય છે, GGML લાઇબ્રેરીમાં PKZIP માટેના સમર્થન માટે આભાર. આ અસંકુચિત વજનને સ્વ-એક્સટ્રેક્ટિંગ ફાઇલ તરીકે, મેમરીમાં સીધા જ મેપ કરવાની મંજૂરી આપે છે, અને ઓનલાઈન વિતરિત ક્વોન્ટાઈઝ્ડ વજનને.cpp નામના સૉફ્ટવેરના સુસંગત સંસ્કરણ દ્વારા પ્રીફિક્સ કરવાની મંજૂરી આપે છે, જે ખાતરી કરે છે કે મૂળ અવલોકન કરેલ વર્તણૂકો અનિશ્ચિત સમય માટે પુનઃઉત્પાદિત કરી શકાય છે.
ધારો કે તમારી પાસે 4 GB ફાઇલ (સામાન્ય રીતે ઉપયોગમાં લેવાતા GGUF ફોર્મેટમાં) સ્વરૂપમાં LLM વજનનો સમૂહ છે. llamafile વડે તમે તે 4GB ફાઇલને બાઈનરીમાં રૂપાંતરિત કરી શકો છો જે ઇન્સ્ટોલેશન વિના છ ઓપરેટિંગ સિસ્ટમ પર ચાલે છે.
અંતે, તેનો ઉલ્લેખ કરવો જોઈએ મોઝિલાએ પ્રોજેક્ટ લોન્ચ કર્યો C/C++ માં લખાયેલ અને અપાચે લાયસન્સ હેઠળ વિતરિત થયેલ «llamafile», જે GPL જેવા લાયસન્સની સરખામણીમાં સંસાધનોની ઉપયોગની પદ્ધતિઓ અને ઉપલબ્ધતાના સંદર્ભમાં ઓછા નિયંત્રણો સૂચવે છે.
આ માટે તેના વિશે વધુ જાણવામાં રસ છે પ્રોજેક્ટ અથવા પહેલાથી જ તેનો ઉપયોગ કરવા માંગો છો, તમે વિગતો અને/અથવા ઝડપી માર્ગદર્શિકાનો ઉપયોગ કરી શકો છો નીચેની કડી.