Analytika dát a strojové učenie sa čoraz viac využívajú každý deň a spoločnosti, ktoré sa pokúsia o dobrodružstvo, čelia vo všeobecnosti problémom s integráciou. Na splnenie týchto výziev IBM práve predstavilo CodeFlare, rámec otvoreného zdroja, ktorý je založený na Rayovom distribuovanom systéme z laboratória RISE z University of California v Berkeley pre modely strojového učenia.
codeflare si kladie za cieľ zjednodušiť proces iterácie AI pomocou konkrétnych prvkov na škálovanie tokov práce s dátami a vyrástol z projektu v skupine IBM zodpovednej za vytvorenie jedného z prvých 2-nanometrových prototypov čipov na svete.
IBM tvrdí, že CodeFlare pomáha zjednodušiť integráciu a efektívne škálovanie pracovných tokov veľkých dát a umelej inteligencie v multi-cloudových infraštruktúrach.
„CodeFlare berie pojem zjednodušeného strojového učenia ... o krok ďalej, ide ďalej ako za izolované kroky a umožňuje hladkú integráciu koncových potrubí s rozhraním vhodným pre dátových vedcov, ako je Python, nie kontajnery,“ Priya Nagpurkar, hlavný hybridný cloud Platforma spoločnosti IBM Research, spoločnosť VentureBeat uviedla, že prostredníctvom e-mailu sa odlišuje zjednodušením integrácie a škálovania celých potrubí pomocou jednotného runtime a programovacieho rozhrania. “
V blogovom príspevku IBM vysvetlila, že vytváranie modelov strojového učenia je v dnešnej dobe intenzívne manuálna úloha.. Vedci musia najskôr trénovať a optimalizovať model, ktorý zahŕňa úlohy ako čistenie dát, extrakcia funkcií a potom optimalizácia modelu, a tu IBM uviedla, že CodeFlare pomáha túto prácu zjednodušiť.
Pretože CodeFlare používa na vytvorenie kanálu rozhranie založené na programovacom jazyku Python, prostredníctvom ktorého je jednoduchšie integrovať, paralelizovať a zdieľať údaje. CodeFlare sa potom dá použiť na zjednotenie pracovných tokov potrubí na viacerých platformách cloud computingu bez toho, aby ste sa naučili nový jazyk pracovných tokov pre každý typ infraštruktúry.
IBM uviedla plynovody je možné nasadiť na akúkoľvek cloudovú infraštruktúru vrátane nového IBM Cloud Code Engine, čo je platforma bez servera a Red Hat OpenShift, navyše poskytuje adaptéry pre spúšťače udalostí, ako je napríklad príchod nového súboru, čo znamená, že sa rúry môžu integrovať a spojiť s inými cloudovými ekosystémami, uviedla IBM.
Okrem toho tiež umožňuje načítanie a rozdelenie údajov z mnohých zdrojov, ako sú napríklad úložiská cloudových objektov, dátové jazerá a distribuované systémy súborov.
Hlavnou výhodou použitia CodeFlare na nastavenie nových projektov strojového učenia je rýchlosť. Spoločnosť tvrdila, že keď jeden z jej používateľov použil program CodeFlare na analýzu a optimalizáciu 100,000 15 potrubí na trénovanie modelov strojového učenia, znížil čas potrebný na spustenie každej zo štyroch hodín na iba XNUMX minút.
Rýchlosť je dôležitá, vysvetlila IBM, pretože množiny údajov sú stále väčšie a väčšie, čo znamená, že pracovné postupy strojového učenia sú čoraz zložitejšie. Vedci preto trávia viac času konfiguráciou svojich nastavení, než stihnú prácu.
„Spoločnosť IBM to sleduje využitím open source CodeFlare ako rámca pre dátových pracovníkov a vývojárov na vytváranie modelov umelej inteligencie, ktoré môžu bežať v akomkoľvek cloude,“ uviedol Mueller. „CodeFlare beží na RedHat OpenShift a odtiaľ dosahuje svoju schopnosť multi-cloudu.“
IBM uviedla, že:
CodeFlare sa dnes chystá na otvorený zdrojový kód, ktorý je k dispozícii v úložisku IBM na GitHube, a okrem toho vydáva niekoľko vzoriek potrubí CodeFlare, ktoré vytvoril a beží na serveroch IBM Cloud a Red Hat OpenShift.
Konečne ak máte záujem dozvedieť sa o tom viac alebo môžete skontrolovať zdrojový kód CodeFlare, môžete to urobiť z nasledujúceho odkazu.