Microsoft har brukt millioner av dollar på å bygge superdatamaskinen som ChatGPT er basert på.

Microsoft har brukt hundrevis av millioner dollar på konstruksjonen av en massiv superdatamaskin for å hjelpe til med å drive OpenAI ChatGPT chatbot, I en rapport forklarer Microsoft hvordan de bygde den kraftige Azure AI-infrastrukturen som brukes av OpenAI, og hvordan systemene blir enda mer robuste.

For å bygge superdatamaskinen som driver OpenAI-prosjektene, Microsoft hevder å ha koblet til tusenvis av grafikkbehandlingsenheter (GPU) NVIDIA til sin Azure cloud computing-plattform. Dette tillot igjen OpenAI å trene stadig kraftigere modeller og "låse opp AI-egenskapene" til verktøy som ChatGPT og Bing.

Scott Guthrie visepresident for kunstig intelligens og sky i Microsoft, sa selskapet brukte flere hundre millioner dollar på prosjektet, ifølge en uttalelse. Og selv om det kan virke som en dråpe i bøtta for Microsoft, som nylig utvidet sin multi-milliard dollar, flerårige investering i OpenAI, er det absolutt den viser at den er klar til å investere enda mer penger i AI-området.

Da Microsoft investerte 1 milliarder dollar på OpenAI i 2019, gikk med på å bygge en massiv superdatamaskin og state-of-the-art for oppstart av forskning på kunstig intelligens. Det eneste problemet: Microsoft hadde ikke noe OpenAI trengte og var ikke helt sikker på at det kunne bygge noe så stort på Azure-skytjenesten uten å ødelegge den.

OpenAI prøvde å trene et stadig voksende sett med kunstig intelligens-programmer kalt modeller, som inntok større mengder data og lærte flere og flere parametere, variablene som AI-systemet oppdaget gjennom trening og omskolering. Dette betydde at OpenAI trengte tilgang til kraftige cloud computing-tjenester i lange perioder.

For å møte denne utfordringen, Microsoft måtte finne måter å koble sammen titusenvis av grafikkbrikker NVIDIA A100 og endre måten du rack servere på for å unngå strømbrudd.

"Vi bygde en systemarkitektur som kunne fungere og være pålitelig i stor skala. Dette er det som gjorde ChatGPT mulig, sier Nidhi Chappell, Microsofts daglige leder for Azure AI-infrastruktur. «Det er et mønster som kom derfra. Det vil bli mange, mange flere."

Teknologien gjorde det mulig for OpenAI å lansere ChatGPT, den virale chatboten som tiltrakk seg mer enn en million brukere i løpet av dager etter børsnoteringen i november, og som nå blir absorbert i forretningsmodellene til andre selskaper, fra de som drives av milliardæren hedgefond-grunnlegger Ken Griffin ved Leveringstid.

Ettersom generative AI-verktøy som ChatGPT får interesse fra bedrifter og forbrukere, vil det bli økt press på skytjenesteleverandører som Microsoft, Amazon og Google for å sikre at datasentrene deres kan gi den enorme datakraften som kreves.

Nå bruker Microsoft det samme settet med ressurser som det bygde for OpenAI for å trene og kjøre sine egne flotte AI-modeller, inkludert den nye Bing-søkeroboten som ble introdusert forrige måned. Selskapet selger også systemet til andre kunder. Programvaregiganten jobber allerede med neste generasjon av AI-superdatamaskinen, som en del av en utvidet avtale med OpenAI der Microsoft har lagt til 10 milliarder dollar til investeringen.

«Vi bygger dem ikke som noe tilpasset; det startet som noe tilpasset, men vi bygde det alltid på en måte at det ble generalisert slik at alle som ønsker å trene en stor språkmodell kan dra nytte av de samme forbedringene.» sa Guthrie i et intervju. "Det hjalp oss virkelig å bli en bedre sky for AI totalt sett."

Trening av en massiv AI-modell krever et stort antall grafikkbehandlingsenheter koblet på ett sted, som AI-superdatamaskinen satt sammen av Microsoft. Når en modell er i bruk, krever det et litt annet oppsett å svare på alle spørsmål som stilles av brukere (kalt inferens). Microsoft distribuerer også grafikkbrikker for slutninger, men disse prosessorene (hundretusenvis) er geografisk spredt over selskapets 60 pluss datasenterregioner. Nå legger selskapet til den nyeste NVIDIA-grafikkbrikken for AI-arbeidsbelastninger (H100) og den nyeste versjonen av NVIDIAs Infiniband-nettverksteknologi for enda raskere datadeling.

Microsofts beslutning om å samarbeide med OpenAI ble grunnlagt på troen på at denne enestående omfanget av infrastruktur ville gi resultater (nye AI-funksjoner, en ny type programmeringsplattform) som Microsoft kan gjøre om til produkter og tjenester som vil gi reelle fordeler til kundene, sa Waymouth. Denne troen har gitt næring til selskapenes ambisjon om å overvinne alle tekniske utfordringer for å bygge den og fortsette å flytte grensene for AI-superdatabehandling.

Fuente: https://news.microsoft.com/