OpenXLA,一个加速和简化机器学习的开源项目

开放XLA

OpenXLA 是一个共同开发的开源 ML 编译器生态系统

近日, 介绍了从事机器学习领域开发的最大公司 这个项目 开放XLA, 旨在共同开发工具 为机器学习系统编译和优化模型。

该项目负责开发工具,允许统一编译在 TensorFlow、PyTorch 和 JAX 框架中准备的模型,以便在不同的 GPU 和专用加速器上进行高效训练和执行。 谷歌、英伟达、AMD、英特尔、Meta、苹果、Arm、阿里巴巴和亚马逊等公司加入了该项目的联合工作。

OpenXLA 项目提供了最先进的 ML 编译器,可以在 ML 基础设施的复杂性中进行扩展。 它的基本支柱是性能、可扩展性、可移植性、灵活性和用户的可扩展性。 借助 OpenXLA,我们渴望通过加速人工智能的开发和交付来释放人工智能的真正潜力。

OpenXLA 使开发人员能够编译和优化来自所有领先 ML 框架的模型,以便在各种硬件上进行高效培训和服务。 使用 OpenXLA 的开发人员将看到训练时间、性能、服务延迟以及最终上市时间和计算成本方面的显着改进。

希望通过共同努力 主要研究团队和社区代表, 将有可能刺激机器学习系统的发展 并解决各种框架和团队的基础架构碎片化问题。

OpenXLA 允许实现对各种硬件的有效支持, 无论机器学习模型基于什么框架。 OpenXLA 有望减少模型训练时间、提高性能、减少延迟、减少计算开销并缩短上市时间。

开放XLA 由三个主要部分组成,其代码在 Apache 2.0 许可证下分发:

  1. XLA(加速线性代数)是一种编译器,可让您优化机器学习模型,以在不同硬件平台(包括 GPU、CPU 和来自不同制造商的专用加速器)上实现高性能执行。
  2. StableHLO 是一组高级操作 (HLO) 的基本规范和实现,用于机器学习系统模型。 它充当机器学习框架和编译器之间的层,将模型转换为在特定硬件上运行。 层准备为 PyTorch、TensorFlow 和 JAX 框架生成 StableHLO 格式的模型。 MHLO 套件用作 StableHLO 的基础,后者扩展了对序列化和版本控制的支持。
  3. IREE(Intermediate Representation Execution Environment)是一个编译器和运行时,可以将机器学习模型转换为基于 LLVM 项目的 MLIR(Intermediate Multi-Level Representation)格式的通用中间表示。 在这些特性中,突出显示了预编译(提前)的可能性、对流控制的支持、在模型中使用动态元素的能力、针对不同 CPU 和 GPU 的优化以及低开销。

关于OpenXLA的主要优点,提到了 无需钻研编写代码即可实现最佳性能 设备特定的,除了 提供开箱即用的优化, 包括代数表达式的简化,高效的内存分配,执行调度,同时考虑到最大内存消耗和开销的减少。

另一个优点是 简化计算的缩放和并行化。 开发人员为关键张量的子集添加注释就足够了,编译器可以在此基础上自动生成用于并行计算的代码。

还强调了 可移植性是通过支持多种硬件平台提供的, 例如 AMD 和 NVIDIA GPU、x86 和 ARM CPU、Google TPU ML 加速器、AWS Trainium Inferentia IPU、Graphcore 和 Wafer-Scale Engine Cerebras。

支持连接扩展以实现附加功能, 作为支持使用CUDA、HIP、SYCL、Triton等语言编写深度机器学习原语进行并行计算,以及 手动调整瓶颈的可能性 在模型中。

最后,如果您有兴趣了解更多,可以咨询 以下链接中提供了详细信息。


成为第一个发表评论

发表您的评论

您的电子邮件地址将不会被发表。 必填字段标有 *

*

*

  1. 负责资料:AB Internet Networks 2008 SL
  2. 数据用途:控制垃圾邮件,注释管理。
  3. 合法性:您的同意
  4. 数据通讯:除非有法律义务,否则不会将数据传达给第三方。
  5. 数据存储:Occentus Networks(EU)托管的数据库
  6. 权利:您可以随时限制,恢复和删除您的信息。