Alors que les systèmes d’IA surprennent et alarment le monde dans une égale mesure, ils sont sur le point de devenir considérablement plus puissants. Nvidia a annoncé une nouvelle classe de supercalculateurs qui formeront la prochaine génération de modèles d’IA et auront tout le potentiel pour augmenter le chômage humain !
La puissance de traitement dépasse-t-elle la capacité humaine ?
Le nouveau système est connu sous le nom de Nvidia DGX GH200 et sera apparemment capable de performances massives de 1 exaflop. Entre les 256 « superpuces » GH200 dont il est composé, le système disposera d’une mémoire partagée stupéfiante de 144 To, soit 500 fois plus que le précédent supercalculateur de Nvidia, le DGX A100, dévoilé il y a à peine trois ans.
Pour exploiter chaque dernière once de puissance, chaque superpuce GH200 est composée du processeur Grace et du processeur graphique Tensor Core H100 de la société dans un seul boîtier, leur permettant de communiquer entre eux sept fois plus rapidement qu’une connexion PCIe et en utilisant seulement un cinquième de la électricité. Ils seront tous reliés entre eux via le système de commutation NVLink de Nvidia, pour fonctionner ensemble comme un seul gros GPU.
Le supercalculateur résultant sera utilisé pour former les successeurs de ChatGPT et d’autres modèles d’IA génératifs et de grands langages. Le plus célèbre des systèmes d’IA a été formé sur un superordinateur personnalisé que Microsoft a construit à partir de dizaines de milliers de précédents GPU A100 de Nvidia. La société est une fois de plus parmi les premières en ligne pour le nouvel équipement, avec Meta et Google Cloud.
Helios atteindra 4 exaflops de performances !!!
Cependant, Nvidia ne se contente pas de fournir des équipements à d’autres sociétés – il a également annoncé son intention de construire son propre supercalculateur basé sur le DGX GH200, appelé Helios. Prévu pour démarrer fin 2023, Helios sera composé de quatre systèmes DGX GH200, soit 1 024 superchips GH200, connectés en réseau. Cela le rendrait capable d’un total de 4 exaflops de performances, ce qui semble être une puissance impressionnante.
Mais, bien sûr, il y a une mise en garde à ces chiffres. Actuellement, le supercalculateur le plus puissant au monde est le Frontier du DOE américain, avec 1 194 exaflops, et à première vue, il pourrait sembler que Helios de Nvidia sera quatre fois plus puissant – mais cela compare des pommes et des oranges. Nvidia utilise une mesure moins précise appelée FP8, tandis que les supercalculateurs sont généralement évalués en utilisant la double précision FP64. S’il était converti en FP64, l’Helios atteindrait environ 36 pétaflops, soit 0,036 exaflops.
Cela dit, Helios et les superpuces DGX GH200 sur lesquelles il est basé continuent d’être des outils incroyablement puissants et pourront produire des modèles d’IA en quelques semaines plutôt qu’en quelques mois, affirme Nvidia. Nous, simples humains, ferions mieux de peaufiner nos CV.
Envie de vous détendre un peu ? Voici un reportage très intéressant sur l’intelligence artificielle :
