OpenXLA โครงการโอเพ่นซอร์สเพื่อเพิ่มความเร็วและลดความซับซ้อนของแมชชีนเลิร์นนิง

OpenXLA

OpenXLA เป็นระบบนิเวศคอมไพเลอร์ ML แบบโอเพ่นซอร์สที่พัฒนาร่วมกัน

เมื่อเร็ว ๆ นี้ บริษัท ที่ใหญ่ที่สุดที่มีส่วนร่วมในการพัฒนาในด้านการเรียนรู้ของเครื่องนำเสนอ โครงการ OpenXLAมีวัตถุประสงค์เพื่อพัฒนาเครื่องมือร่วมกัน เพื่อรวบรวมและปรับโมเดลให้เหมาะสมสำหรับระบบแมชชีนเลิร์นนิง

โปรเจกต์รับผิดชอบการพัฒนาเครื่องมือที่รวมการรวบรวมโมเดลที่จัดเตรียมไว้ในเฟรมเวิร์ก TensorFlow, PyTorch และ JAX เพื่อการฝึกอบรมและการดำเนินการที่มีประสิทธิภาพบน GPU ต่างๆ และตัวเร่งความเร็วพิเศษต่างๆ บริษัทต่างๆ เช่น Google, NVIDIA, AMD, Intel, Meta, Apple, Arm, Alibaba และ Amazon เข้าร่วมการทำงานร่วมกันของโครงการ

โครงการ OpenXLA นำเสนอคอมไพเลอร์ ML ที่ล้ำสมัยซึ่งสามารถปรับขนาดได้ท่ามกลางความซับซ้อนของโครงสร้างพื้นฐาน ML เสาหลักพื้นฐาน ได้แก่ ประสิทธิภาพ ความสามารถในการปรับขนาด การพกพา ความยืดหยุ่น และความสามารถในการขยายสำหรับผู้ใช้ ด้วย OpenXLA เราปรารถนาที่จะปลดล็อกศักยภาพที่แท้จริงของ AI โดยเร่งการพัฒนาและการส่งมอบ

OpenXLA ช่วยให้นักพัฒนารวบรวมและปรับแต่งโมเดลจากเฟรมเวิร์ก ML ชั้นนำทั้งหมดเพื่อการฝึกอบรมและการบริการที่มีประสิทธิภาพบนฮาร์ดแวร์ที่หลากหลาย นักพัฒนาที่ใช้ OpenXLA จะเห็นการปรับปรุงที่สำคัญในด้านเวลาการฝึกอบรม ประสิทธิภาพ เวลาแฝงของบริการ และท้ายที่สุด เวลาในการทำตลาดและคำนวณต้นทุน

ก็หวังเป็นอย่างยิ่งว่าด้วยการร่วมแรงร่วมใจ ของทีมวิจัยหลักและตัวแทนชุมชน จะสามารถกระตุ้นการพัฒนาระบบแมชชีนเลิร์นนิงได้ และแก้ปัญหาการกระจายตัวของโครงสร้างพื้นฐานสำหรับเฟรมเวิร์กและทีมต่างๆ

OpenXLA อนุญาตให้ใช้การสนับสนุนที่มีประสิทธิภาพสำหรับฮาร์ดแวร์ต่างๆ โดยไม่คำนึงถึงเฟรมเวิร์กที่ใช้โมเดลแมชชีนเลิร์นนิง OpenXLA คาดว่าจะลดเวลาการฝึกโมเดล ปรับปรุงประสิทธิภาพ ลดเวลาแฝง ลดค่าใช้จ่ายในการประมวลผล และลดเวลาออกสู่ตลาด

OpenXLA ประกอบด้วยสามองค์ประกอบหลักรหัสที่แจกจ่ายภายใต้ใบอนุญาต Apache 2.0:

  1. XLA (พีชคณิตเชิงเส้นเร่งความเร็ว) เป็นคอมไพเลอร์ที่ช่วยให้คุณปรับโมเดลแมชชีนเลิร์นนิงให้เหมาะสมสำหรับการดำเนินการที่มีประสิทธิภาพสูงบนแพลตฟอร์มฮาร์ดแวร์ต่างๆ รวมถึง GPU, CPU และตัวเร่งความเร็วพิเศษจากผู้ผลิตหลายราย
  2. StableHLO เป็นข้อกำหนดพื้นฐานและการใช้งานชุดของ High-Level Operations (HLO) สำหรับใช้ในโมเดลระบบแมชชีนเลิร์นนิง ทำหน้าที่เป็นเลเยอร์ระหว่างเฟรมเวิร์กการเรียนรู้ของเครื่องและคอมไพเลอร์ที่แปลงโมเดลให้ทำงานบนฮาร์ดแวร์เฉพาะ มีการเตรียมเลเยอร์เพื่อสร้างโมเดลในรูปแบบ StableHLO สำหรับเฟรมเวิร์ก PyTorch, TensorFlow และ JAX ชุดโปรแกรม MHLO ใช้เป็นพื้นฐานสำหรับ StableHLO ซึ่งขยายเพิ่มเติมด้วยการรองรับการทำให้เป็นอนุกรมและการควบคุมเวอร์ชัน
  3. IREE (Intermediate Representation Execution Environment) เป็นคอมไพเลอร์และรันไทม์ที่แปลงโมเดลแมชชีนเลิร์นนิงเป็นการแทนกลางแบบสากลตามรูปแบบ MLIR (Intermediate Multi-Level Representation) ของโครงการ LLVM คุณลักษณะต่างๆ ความเป็นไปได้ของการคอมไพล์ล่วงหน้า (ล่วงหน้า) การรองรับการควบคุมโฟลว์ ความสามารถในการใช้องค์ประกอบไดนามิกในโมเดล การเพิ่มประสิทธิภาพสำหรับ CPU และ GPU ที่แตกต่างกัน และโอเวอร์เฮดต่ำ

กล่าวถึงข้อดีหลักๆ ของ OpenXLA ไว้ดังนี้ ได้รับประสิทธิภาพสูงสุดโดยไม่ต้องเจาะลึกการเขียนโค้ด เฉพาะอุปกรณ์นอกเหนือจาก ให้การเพิ่มประสิทธิภาพนอกกรอบ รวมถึงการทำให้นิพจน์พีชคณิตง่ายขึ้น การจัดสรรหน่วยความจำอย่างมีประสิทธิภาพ การจัดตารางการดำเนินการ โดยคำนึงถึงการลดการใช้หน่วยความจำสูงสุดและค่าโสหุ้ย

ข้อดีอีกอย่างคือ ลดความซับซ้อนของการปรับขนาดและการขนานของการคำนวณ ก็เพียงพอแล้วสำหรับนักพัฒนาที่จะเพิ่มคำอธิบายประกอบสำหรับชุดย่อยของเทนเซอร์วิกฤต โดยพื้นฐานแล้วคอมไพเลอร์สามารถสร้างรหัสโดยอัตโนมัติสำหรับการคำนวณแบบขนาน

นอกจากนี้ยังมีการเน้นย้ำว่า พกพาได้พร้อมรองรับแพลตฟอร์มฮาร์ดแวร์หลายตัว เช่น AMD และ NVIDIA GPU, x86 และ ARM CPU, Google TPU ML Accelerators, AWS Trainium Inferentia IPUs, Graphcore และ Wafer-Scale Engine Cerebras

รองรับการเชื่อมต่อส่วนขยายพร้อมการใช้งานฟังก์ชั่นเพิ่มเติม เพื่อรองรับการเขียนการเรียนรู้ของเครื่องเชิงลึกโดยใช้ CUDA, HIP, SYCL, Triton และภาษาอื่นๆ สำหรับการประมวลผลแบบขนาน เช่นเดียวกับ ความเป็นไปได้ของการปรับคอขวดด้วยตนเอง ในรูปแบบ

สุดท้ายนี้ หากคุณสนใจที่จะทราบข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนี้ คุณสามารถปรึกษา รายละเอียดตามลิงค์ต่อไปนี้


เป็นคนแรกที่จะแสดงความคิดเห็น

แสดงความคิดเห็นของคุณ

อีเมล์ของคุณจะไม่ถูกเผยแพร่ ช่องที่ต้องการถูกทำเครื่องหมายด้วย *

*

*

  1. รับผิดชอบข้อมูล: AB Internet Networks 2008 SL
  2. วัตถุประสงค์ของข้อมูล: ควบคุมสแปมการจัดการความคิดเห็น
  3. ถูกต้องตามกฎหมาย: ความยินยอมของคุณ
  4. การสื่อสารข้อมูล: ข้อมูลจะไม่ถูกสื่อสารไปยังบุคคลที่สามยกเว้นตามข้อผูกพันทางกฎหมาย
  5. การจัดเก็บข้อมูล: ฐานข้อมูลที่โฮสต์โดย Occentus Networks (EU)
  6. สิทธิ์: คุณสามารถ จำกัด กู้คืนและลบข้อมูลของคุณได้ตลอดเวลา