骆驼档案标志
Mozilla 通过博客文章宣布，l发布编译器， 其中有 目标是显着简化几种大型语言模型的使用。 （法学硕士）几乎适用于任何台式机或服务器。
新的 Mozilla 项目 称为“llamafile”，它是一个开源编译器 它可以将 GGUF 格式的机器学习模型参数文件转换为可执行文件，该文件可以在 AMD64 和 ARM64 硬件上的六种不同操作系统上运行。
他们不会让我撒谎，但是 供本地使用的大型语言模型（LLM）通常分布在各种集合中，每个文件的大小通常为几千兆字节。 这些文件本身不能直接使用， 与其他类型的软件相比，这使其分发和执行变得复杂。 另外，特定模型可能经过修改和调整，导致使用不同版本时得到不同的结果。
Mozilla 意识到了这一点，对此事采取了行动并应对这一挑战， Mozilla 的创新小组推出了“llamafile”， 如上所述，它是一个编译器，可将 LLM 转换为能够在六种不同操作系统（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）上运行的单个二进制文件，而无需额外安装。 该解决方案极大地促进了LLM的分发和执行，同时确保了特定版本的LLM随着时间的推移的一致性和可重复性。
关于llamafile编译器，提到了 是通过组合两个项目创建的：llama.cpp（开源 LLM 聊天机器人框架）和 Cosmopolitan Libc （一个开源项目，允许您在许多平台和体系结构上编译和运行 C 程序）。 Mozilla 提到，在实施过程中，它面临着有趣的挑战，必须大幅扩大 Cosmopolitan 的范围才能实现既定目标。
我们的目标是让开发人员和最终用户更容易访问大型开源语言模型。 为此，我们将 llama.cpp 与 Cosmopolitan Libc 组合成一个框架，将 LLM 的所有复杂性压缩到一个可执行文件（称为“llamafile”）中，该文件可以在大多数计算机上本地运行，无需安装。
有人提到 llamafile 的主要目标之一是能够在多个 CPU 微架构上运行。 这就是 llama.cpp 的用武之地，它允许新的 Intel 系统使用现代处理器的功能，而不会牺牲对旧计算机的支持，而对于 AMD64 和 ARM64，这些功能是使用启动适当版本的 shell 脚本连接起来的。 文件格式与 WIN32 和大多数 UNIX shell 兼容。
解决的另一个挑战是法学硕士文件的权重问题。，由于 GGML 库对 PKZIP 的支持，它可以集成到 llamafile 中。 这允许未压缩的权重作为自解压文件直接映射到内存，还允许在线分发的量化权重以名为 .cpp 的软件的兼容版本为前缀，确保可以无限期地重现最初观察到的行为。
假设您有一组 4 GB 文件形式的 LLM 权重（采用常用的 GGUF 格式）。 使用 llamafile，您可以将该 4GB 文件转换为可在六个操作系统上运行的二进制文件，而无需安装。
最后，应该提到的是 Mozilla 启动了该项目 «llamafile» 用 C/C++ 编写并在 Apache 许可证下分发，与 GPL 等许可证相比，这意味着在使用方法和资源可用性方面的限制更少。
至于 有兴趣了解更多相关信息 项目或已经想使用它，您可以在以下位置查阅详细信息和/或快速使用指南 以下链接。