Microsoft a dépensé des millions de dollars pour construire le superordinateur sur lequel ChatGPT est basé.

Microsoft a dépensé des centaines de millions de dollars pour la construction de un superordinateur massif pour aider à alimenter le chatbot OpenAI ChatGPT, Dans un rapport, Microsoft explique comment il a construit la puissante infrastructure Azure AI utilisée par OpenAI et comment ses systèmes deviennent encore plus robustes.

Pour construire le supercalculateur qui alimente les projets OpenAI, Microsoft affirme avoir connecté des milliers de unités de traitement graphique (GPU) NVIDIA à sa plateforme de cloud computing Azure. Ceci, à son tour, a permis à OpenAI de former des modèles de plus en plus puissants et de "débloquer les capacités d'IA" d'outils comme ChatGPT et Bing.

Scott Guthrie vice-président de l'intelligence artificielle et du cloud chez Microsoft, a déclaré que la société avait dépensé plusieurs centaines de millions de dollars pour le projet, selon un communiqué. Et même si cela peut sembler une goutte d'eau dans l'océan pour Microsoft, qui a récemment augmenté son investissement pluriannuel de plusieurs milliards de dollars dans OpenAI, il cela montre qu'il est prêt à investir encore plus d'argent dans l'espace de l'IA.

Quand Microsoft a investi Milliards de 1 à OpenAI en 2019, a accepté de construire un supercalculateur massif et à la pointe de la technologie pour le démarrage de la recherche en intelligence artificielle. Le seul problème : Microsoft n'avait rien dont OpenAI avait besoin et n'était pas tout à fait sûr de pouvoir créer quelque chose d'aussi gros sur son service cloud Azure sans le casser.

OpenAI essayait de former un ensemble toujours croissant de programmes d'intelligence artificielle appelés modèles, qui ingéraient de plus grands volumes de données et apprenaient de plus en plus de paramètres, les variables que le système d'IA découvrait grâce à la formation et au recyclage. Cela signifiait qu'OpenAI avait besoin d'accéder à de puissants services de cloud computing pendant de longues périodes.

Pour relever ce défi, Microsoft a dû trouver des moyens de relier des dizaines de milliers de puces graphiques NVIDIA A100 et changez la façon dont vous montez vos serveurs en rack pour éviter les pannes de courant.

« Nous avons construit une architecture système qui pourrait fonctionner et être fiable à grande échelle. C'est ce qui a rendu ChatGPT possible », a déclaré Nidhi Chappell, directeur général de Microsoft pour l'infrastructure Azure AI. « C'est un schéma qui vient de là. Il y en aura beaucoup, beaucoup plus."

La technologie a permis à OpenAI de lancer ChatGPT, le chatbot viral qui a attiré plus d'un million d'utilisateurs quelques jours après son introduction en bourse en novembre et qui est maintenant absorbé par les modèles commerciaux d'autres sociétés, de celles dirigées par le fondateur milliardaire du fonds spéculatif Ken Griffin au délai de livraison.

À mesure que les outils d'IA génératifs tels que ChatGPT suscitent l'intérêt des entreprises et des consommateurs, les fournisseurs de services cloud tels que Microsoft, Amazon et Google subiront une pression accrue pour s'assurer que leurs centres de données peuvent fournir l'énorme puissance de calcul requise.

Désormais, Microsoft utilise le même ensemble de ressources qu'il a construit pour OpenAI pour former et exécuter ses propres grands modèles d'IA, y compris le nouveau robot de recherche Bing introduit le mois dernier. L'entreprise vend également le système à d'autres clients. Le géant du logiciel travaille déjà sur la prochaine génération du supercalculateur d'IA, dans le cadre d'un accord élargi avec OpenAI dans lequel Microsoft a ajouté 10 milliards de dollars à son investissement.

« Nous ne les construisons pas comme quelque chose de personnalisé ; cela a commencé comme quelque chose de personnalisé, mais nous l'avons toujours construit de manière à ce qu'il soit généralisé afin que quiconque souhaite former un grand modèle de langage puisse profiter des mêmes améliorations. Guthrie a déclaré dans une interview. "Cela nous a vraiment aidés à devenir un meilleur cloud pour l'IA dans son ensemble."

L'entraînement d'un modèle d'IA massif nécessite un grand nombre d'unités de traitement graphique connectées en un seul endroit, comme le supercalculateur d'IA assemblé par Microsoft. Une fois qu'un modèle est utilisé, répondre à toutes les questions posées par les utilisateurs (appelées inférence) nécessite une configuration légèrement différente. Microsoft déploie également des puces graphiques pour l'inférence, mais ces processeurs (des centaines de milliers) sont dispersés géographiquement dans les plus de 60 régions de centres de données de l'entreprise. Désormais, la société ajoute la dernière puce graphique NVIDIA pour les charges de travail AI (la H100) et la dernière version de la technologie réseau Infiniband de NVIDIA pour un partage de données encore plus rapide.

La décision de Microsoft de s'associer avec OpenAI a été fondé sur la conviction que cette échelle sans précédent d'infrastructures produirait des résultats (nouvelles capacités d'IA, un nouveau type de plate-forme de programmation) que Microsoft pourrait transformer en produits et services qui offriraient de réels avantages aux clients, a déclaré Waymouth. Cette croyance a alimenté l'ambition des entreprises de surmonter tous les défis techniques pour le construire et continuer à repousser les limites du supercalcul de l'IA.

source: https://news.microsoft.com/