Microsoft har spenderat miljontals dollar för att bygga superdatorn som ChatGPT bygger på.

Microsoft har spenderat hundratals miljoner dollar på Byggandet av en enorm superdator som hjälper till att driva OpenAI ChatGPT chatbot, I en rapport förklarar Microsoft hur man byggde den kraftfulla Azure AI-infrastrukturen som används av OpenAI och hur dess system blir ännu mer robusta.

För att bygga superdatorn som driver OpenAI-projekten, Microsoft påstår sig ha kopplat tusentals grafiska bearbetningsenheter (GPU) NVIDIA till sin Azure cloud computing-plattform. Detta i sin tur gjorde det möjligt för OpenAI att träna allt kraftfullare modeller och "låsa upp AI-kapaciteten" hos verktyg som ChatGPT och Bing.

Scott Guthrie vice president för artificiell intelligens och moln på Microsoft, sa att företaget spenderade flera hundra miljoner dollar på projektet, enligt ett uttalande. Och även om det kan tyckas vara en droppe i hinken för Microsoft, som nyligen utökade sin fleråriga investering för flera miljarder dollar i OpenAI, så är det verkligen det visar att det är redo att investera ännu mer pengar i AI-utrymmet.

När Microsoft investerade $ 1 miljarder på OpenAI 2019, gick med på att bygga en massiv superdator och state-of-the-art för uppstart av forskning om artificiell intelligens. Det enda problemet: Microsoft hade inget som OpenAI behövde och var inte helt säker på att det kunde bygga något så stort på sin Azure-molntjänst utan att gå sönder.

OpenAI försökte träna en ständigt växande uppsättning artificiell intelligens-program kallade modeller, som fick in större mängder data och lärde sig fler och fler parametrar, de variabler som AI-systemet upptäckte genom träning och omskolning. Detta innebar att OpenAI behövde tillgång till kraftfulla molntjänster under långa perioder.

För att möta denna utmaning, Microsoft var tvungen att hitta sätt att länka tiotusentals grafikkretsar NVIDIA A100 och ändra sättet du rack servrar för att undvika strömavbrott.

"Vi byggde en systemarkitektur som kunde fungera och vara pålitlig i stor skala. Det är detta som gjorde ChatGPT möjligt”, säger Nidhi Chappell, Microsofts general manager för Azure AI-infrastruktur. ”Det är ett mönster som kom därifrån. Det kommer att bli många, många fler."

Tekniken gjorde det möjligt för OpenAI att lansera ChatGPT, den virala chatbot som lockade mer än en miljon användare inom några dagar efter börsintroduktionen i november och som nu absorberas i andra företags affärsmodeller, från de som drivs av miljardärens hedgefondgrundare Ken Griffin på leveranstid.

När generativa AI-verktyg som ChatGPT ökar intresset från företag och konsumenter kommer det att bli ett ökat tryck på molntjänstleverantörer som Microsoft, Amazon och Google för att säkerställa att deras datacenter kan tillhandahålla den enorma datorkraft som krävs.

Nu använder Microsoft samma uppsättning resurser som det byggde för OpenAI för att träna och köra sina egna fantastiska AI-modeller, inklusive den nya Bing-sökroboten som introducerades förra månaden. Företaget säljer även systemet till andra kunder. Mjukvarujätten arbetar redan med nästa generation av AI-superdatorn, som en del av en utökad affär med OpenAI där Microsoft har lagt till 10 miljarder dollar till sin investering.

”Vi bygger dem inte som något anpassat; det började som något sedvanligt, men vi byggde det alltid på ett sätt så att det generaliserades så att alla som vill träna en stor språkmodell kan dra nytta av samma förbättringar.” sa Guthrie i en intervju. "Det hjälpte oss verkligen att bli ett bättre moln för AI totalt sett."

Att träna en massiv AI-modell kräver ett stort antal grafikprocessorenheter anslutna på ett ställe, som AI-superdatorn sammansatt av Microsoft. När en modell väl är i bruk kräver svaret på alla frågor från användare (kallad slutledning) en något annorlunda inställning. Microsoft använder också grafikkretsar för slutledning, men dessa processorer (hundratusentals) är geografiskt spridda över företagets över 60 datacenterregioner. Nu lägger företaget till det senaste NVIDIA-grafikchippet för AI-arbetsbelastningar (H100) och den senaste versionen av NVIDIAs Infiniband-nätverksteknik för ännu snabbare datadelning.

Microsofts beslut att samarbeta med OpenAI grundades på tron ​​att denna oöverträffade omfattning av infrastruktur skulle ge resultat (nya AI-funktioner, en ny typ av programmeringsplattform) som Microsoft skulle kunna förvandla till produkter och tjänster som skulle ge verkliga fördelar för kunderna, sa Waymouth. Denna övertygelse har underblåst företagens ambition att övervinna alla tekniska utmaningar för att bygga den och fortsätta att tänja på gränserna för AI-superdatorer.

Fuente: https://news.microsoft.com/