Tenstorrent, société de puces dirigée par Jim Keller, a lancé son processeur Wormhole de nouvelle génération pour les charges de travail d'IA, qui devrait offrir de bonnes performances à un prix abordable.La société propose actuellement deux cartes PCIe supplémentaires pouvant accueillir un ou deux processeurs Wormhole, ainsi que des stations de travail TT-LoudBox et TT-QuietBox pour les développeurs de logiciels. Toutes les annonces d'aujourd'hui s'adressent aux développeurs, et non à ceux qui utilisent des cartes Wormhole pour des charges de travail commerciales.
« C'est toujours gratifiant de pouvoir mettre davantage de nos produits entre les mains des développeurs. Les systèmes de développement de versions utilisant nos cartes Wormhole™ peuvent aider les développeurs à faire évoluer et à développer des logiciels d'IA multipuces », a déclaré Jim Keller, PDG de Tenstorrent.En plus de ce lancement, nous sommes ravis de constater les progrès que nous réalisons avec la sortie de bande et la mise sous tension de notre produit de deuxième génération, Blackhole.
Chaque processeur Wormhole contient 72 cœurs Tensix (dont cinq prennent en charge les cœurs RISC-V dans différents formats de données) et 108 Mo de SRAM, délivrant 262 TFLOPS FP8 à 1 GHz avec une puissance thermique de 160 W. La carte Wormhole n150 à puce unique est équipée de 12 Go de mémoire vidéo GDDR6 et dispose d'une bande passante de 288 Go/s.
Les processeurs Wormhole offrent une évolutivité flexible pour répondre aux divers besoins des charges de travail. Dans une configuration de poste de travail standard avec quatre cartes Wormhole n300, les processeurs peuvent être combinés en une seule unité qui apparaît dans le logiciel comme un réseau central Tensix étendu et unifié. Cette configuration permet à l'accélérateur de gérer la même charge de travail, de la répartir entre quatre développeurs ou d'exécuter jusqu'à huit modèles d'IA différents simultanément. Une caractéristique clé de cette évolutivité est qu’elle peut s’exécuter localement sans avoir recours à la virtualisation. Dans un environnement de centre de données, les processeurs Wormhole utiliseront PCIe pour l'expansion à l'intérieur de la machine, ou Ethernet pour l'expansion externe.
En termes de performances, la carte Wormhole n150 à puce unique de Tenstorrent (72 cœurs Tensix, fréquence 1 GHz, 108 Mo de SRAM, 12 Go de GDDR6, bande passante de 288 Go/s) a atteint 262 TFLOPS FP8 à 160 W, tandis que la carte Wormhole n300 à double puce (128 cœurs Tensix, fréquence de 1 GHz, 192 Mo de SRAM, 24 Go de GDDR6 agrégés, bande passante de 576 Go/s) offre jusqu'à 466 TFLOPS FP8 à 300 W.
Pour mettre en contexte 300 W de 466 FP8 TFLOPS, nous le comparerons à ce que Nvidia, leader du marché de l'IA, propose à cette puissance de conception thermique. L'A100 de Nvidia ne prend pas en charge FP8, mais il prend en charge INT8, avec des performances maximales de 624 TOPS (1 248 TOPS lorsqu'il est clairsemé). En comparaison, le H100 de Nvidia prend en charge FP8 et atteint des performances maximales de 1 670 TFLOPS à 300 W (3 341 TFLOPS en clairsemé), ce qui est très différent du Wormhole n300 de Tenstorrent.
Il existe cependant un problème majeur. Le Wormhole n150 de Tenstorrent coûte 999 $, tandis que le n300 se vend 1 399 $. À titre de comparaison, une seule carte graphique Nvidia H100 coûte 30 000 $, selon la quantité. Bien sûr, nous ne savons pas si quatre ou huit processeurs Wormhole peuvent réellement offrir les performances d'un seul H300, mais leurs TDP sont respectivement de 600 W et 1 200 W.
En plus des cartes, Tenstorrent propose des postes de travail prédéfinis pour les développeurs, y compris 4 cartes n300 dans la TT-LoudBox basée sur Xeon, plus abordable, avec refroidissement actif, et la TT-QuietBox avancée avec fonction de refroidissement liquide Xiaolong basée sur EPYC).
Heure de publication : 29 juillet 2024