Microsoft ha gastat milions de dòlars per construir la superordinador en què es basa ChatGPT

Microsoft ha gastat centenars de milions de dòlars en la construcció de una superordinador massiva per ajudar a impulsar el chatbot ChatGPT d'OpenAI, en un informe Microsoft explica com va crear la poderosa infraestructura d'intel·ligència artificial d'Azure utilitzada per OpenAI i com els seus sistemes es tornen encara més robustos.

Per construir la supercomputadora que impulsa els projectes OpenAI, Microsoft afirma haver connectat milers de unitats de processament de gràfics (GPU) NVIDIA a la seva plataforma de computació al núvol Azure. Això, alhora, va permetre a OpenAI entrenar models cada cop més potents i «desbloquejar les capacitats d'IA» d'eines com ChatGPT i Bing.

Scott Guthrie, vicepresident d'intel·ligència artificial i núvol de Microsoft, va dir que la companyia va gastar diversos centenars de milions de dòlars en el projecte, segons un comunicat. I si bé això pot semblar una gota a l'oceà per a Microsoft, que recentment va ampliar la seva inversió multianual i multimilionària a OpenAI, certament demostra que està llest per invertir encara més diners a l'espai d'IA.

Quan Microsoft va invertir $ 1 MIL MILIONS a OpenAI el 2019, va acordar construir una supercomputadora massiva i de darrera generació per a la posada en marxa de recerca d'intel·ligència artificial. L'únic problema: Microsoft no tenia res que OpenAI necessités i no estava completament segur de poder construir alguna cosa tan gran en el seu servei al núvol d'Azure sense que es trenqués.

OpenAI estava intentant entrenar un conjunt cada vegada més gran de programes d'intel·ligència artificial anomenats models, que van ingerir volums més grans de dades i van aprendre més i més paràmetres, les variables que el sistema d'IA va descobrir a través de l'entrenament i el reentrenament. Això significava que OpenAI necessitava accés a potents serveis de computació al núvol durant llargs períodes de temps.

Per enfrontar aquest desafiament, Microsoft va haver de trobar maneres de vincular desenes de milers de xips gràfics A100 de NVIDIA i canviar la manera com col·loca els servidors en bastidors per evitar talls d'energia.

“Construïm una arquitectura de sistema que podria funcionar i ser fiable a gran escala. Això és el que va fer possible ChatGPT”, va dir Nidhi Chappell, gerent general de Microsoft per a la infraestructura d'Azure AI. “És un patró que en va sortir. N'hi haurà molts, molts més”.

La tecnologia va permetre a OpenAI llançar ChatGPT, el chatbot viral que va atreure més d'un milió d'usuaris al cap de pocs dies de la sortida a borsa al novembre i ara està sent absorbit pels models comercials d'altres empreses, des de les administrades pel multimilionari fundador de fons de cobertura Ken Griffin al moment del lliurament.

A mesura que les eines d'IA generativa, com ChatGPT, guanyin l'interès de les empreses i els consumidors, hi haurà una pressió més gran sobre els proveïdors de serveis al núvol, com Microsoft, Amazon i Google per garantir que els seus centres de dades puguin proporcionar l'enorme potència informàtica necessària.

Ara Microsoft està utilitzant el mateix conjunt de recursos que va crear per a OpenAI per entrenar i executar els seus propis grans models dIA, inclòs el nou bot de cerca Bing presentat el mes passat. Lempresa també ven el sistema a altres clients. El gegant del programari ja està treballant en la propera generació de la superordinador de IA, com a part d'un acord ampliat amb OpenAI en què Microsoft ha afegit $10 mil milions a la seva inversió.

«No els construïm com una cosa personalitzada; va començar com una cosa personalitzada, però sempre la vam construir de manera que es generalitzés perquè qualsevol persona que vulgui entrenar un model de llenguatge gran pugui aprofitar les mateixes millores». va dir Guthrie en una entrevista. «Realment ens va ajudar a convertir-nos en un millor núvol per a la IA en general».

Entrenar un model massiu d'IA requereix una gran quantitat d'unitats de processament de gràfics connectades en un sol lloc, com ara la supercomputadora d'IA ensamblada per Microsoft. Quan un model està en ús, respondre a totes les preguntes plantejades pels usuaris (el que s'anomena inferència) requereix una configuració lleugerament diferent. Microsoft també implementa xips gràfics per a inferència, però aquests processadors (cents de milers) estan dispersos geogràficament a les més de 60 regions de centres de dades de l'empresa. Ara, la companyia està afegint el darrer xip de gràfics NVIDIA per a càrregues de treball de IA (l'H100) i la darrera versió de la tecnologia de xarxa Infiniband de NVIDIA per compartir dades encara més ràpid.

La decisió de Microsoft d'associar-se amb OpenAI es va basar en la creença que aquesta escala d'infraestructura sense precedents produiria resultats (noves capacitats d'IA, un nou tipus de plataforma de programació) que Microsoft podria convertir en productes i serveis que oferirien beneficis reals als clients, va dir Waymouth. Aquesta creença ha alimentat l'ambició de les empreses de superar tots els reptes tècnics per construir-lo i continuar ampliant els límits de la supercomputació de l'IA.

font: https://news.microsoft.com/