логотип ламафайла
Mozilla объявила в своем блоге, что lвыпуск компилятора, который имеет как Цель состоит в том, чтобы значительно упростить использование нескольких больших языковых моделей. (LLM) практически на любом настольном компьютере или сервере.
Новый проект Мозиллы называется «llamafile», это компилятор с открытым исходным кодом. который может взять файл параметров модели машинного обучения в формате GGUF и преобразовать его в исполняемый файл, который может работать в шести различных операционных системах на оборудовании AMD64 и ARM64.
И они не дадут мне соврать, но Большие языковые модели (LLM) для локального использования обычно распространяются в различных наборах., вес каждого из этих файлов которого обычно составляет несколько гигабайт. Эти файлы сами по себе не могут использоваться напрямую. что усложняет его распространение и выполнение по сравнению с другими типами программного обеспечения. Кроме того, конкретная модель могла подвергаться модификациям и корректировкам, что приводило к разным результатам при использовании разных версий.
Mozilla осознала это, приняла меры по этому вопросу и решила эту проблему. Инновационная группа Mozilla запустила «llamafile», который, как упоминалось выше, представляет собой компилятор, преобразующий LLM в один двоичный файл, способный работать в шести различных операционных системах (macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD) без необходимости дополнительной установки. Это решение значительно облегчает распространение и выполнение LLM, обеспечивая при этом согласованность и воспроизводимость конкретной версии LLM с течением времени.
О компиляторе llamafile упоминается, что был создан путем объединения двух проектов: llama.cpp (фреймворк чат-бота LLM с открытым исходным кодом) и Cosmopolitan Libc. (проект с открытым исходным кодом, который позволяет компилировать и запускать программы на языке C на многих платформах и архитектурах). В ходе реализации Mozilla упоминает, что столкнулась с интересными проблемами и ей пришлось значительно расширить сферу применения Cosmopolitan для достижения заявленных целей.
Наша цель — сделать большие языковые модели с открытым исходным кодом более доступными как для разработчиков, так и для конечных пользователей. Мы делаем это путем объединения llama.cpp с Cosmopolitan Libc в структуру, которая объединяет всю сложность LLM в один исполняемый файл (называемый «llamafile»), который запускается локально на большинстве компьютеров без установки.
Упоминается, что Одной из основных целей llamafile была возможность работать на нескольких микроархитектурах ЦП. Именно здесь на помощь приходит llama.cpp, позволяющий новым системам Intel использовать функции современных процессоров, не жертвуя поддержкой старых компьютеров, тогда как для AMD64 и ARM64 они объединяются с помощью сценария оболочки, который запускает соответствующую версию. Формат файла совместим с WIN32 и большинством оболочек UNIX.
Еще одной проблемой, которую решали, был вопрос веса файлов LLM., который можно интегрировать в llamafile благодаря поддержке PKZIP в библиотеке GGML. Это позволяет отображать несжатые веса непосредственно в памяти в виде самораспаковывающегося файла, а также позволяет использовать префикс квантованных весов, распространяемых онлайн, с помощью совместимой версии программного обеспечения под названием .cpp, гарантируя, что первоначально наблюдаемое поведение может быть воспроизведено бесконечно.
Предположим, у вас есть набор весов LLM в виде файла размером 4 ГБ (в широко используемом формате GGUF). С помощью llamafile вы можете преобразовать этот файл размером 4 ГБ в двоичный файл, который работает в шести операционных системах без установки.
Наконец, следует отметить, что Mozilla запустила проект «llamafile» написан на C/C++ и распространяется под лицензией Apache, что предполагает меньшие ограничения в способах использования и доступности ресурсов по сравнению с такими лицензиями, как GPL.
Что касается интересно узнать об этом больше проект или вы уже хотите его использовать, вы можете ознакомиться с подробностями и/или кратким руководством по использованию на сайте по следующей ссылке.