Tenstorrent, société de puces dirigée par Jim Keller, a lancé son processeur Wormhole de nouvelle génération pour les charges de travail d'IA, qui, selon elle, offrira de bonnes performances à un prix abordable.L'entreprise propose actuellement deux cartes PCIe supplémentaires pouvant accueillir un ou deux processeurs Wormhole, ainsi que les stations de travail TT-LoudBox et TT-QuietBox pour les développeurs de logiciels. Toutes les annonces d'aujourd'hui s'adressent aux développeurs, et non à ceux qui utilisent des cartes Wormhole pour des applications commerciales.
« C'est toujours gratifiant de mettre davantage de nos produits à la disposition des développeurs. Les systèmes de développement utilisant nos cartes Wormhole™ peuvent aider les développeurs à développer et à faire évoluer leurs logiciels d'IA multi-puces », a déclaré Jim Keller, PDG de Tenstorrent.En plus de ce lancement, nous sommes ravis de voir les progrès que nous réalisons avec la sortie et la mise sous tension de notre produit de deuxième génération, Blackhole. »
Chaque processeur Wormhole contient 72 cœurs Tensix (dont cinq prennent en charge les cœurs RISC-V dans différents formats de données) et 108 Mo de SRAM, délivrant 262 TFLOPS FP8 à 1 GHz avec une puissance thermique de 160 W. La carte Wormhole n150 monopuce est équipée de 12 Go de mémoire vidéo GDDR6 et offre une bande passante de 288 Go/s.
Les processeurs Wormhole offrent une évolutivité flexible pour répondre aux divers besoins des charges de travail. Dans une configuration de station de travail standard avec quatre cartes Wormhole n300, les processeurs peuvent être combinés en une seule unité qui apparaît dans le logiciel comme un réseau central Tensix unifié et étendu. Cette configuration permet à l'accélérateur de gérer la même charge de travail, de la répartir entre quatre développeurs ou d'exécuter jusqu'à huit modèles d'IA différents simultanément. L'un des principaux avantages de cette évolutivité est sa capacité à fonctionner localement sans virtualisation. Dans un environnement de centre de données, les processeurs Wormhole utilisent le PCIe pour l'extension interne de la machine, ou Ethernet pour l'extension externe.
En termes de performances, la carte Wormhole n150 monopuce de Tenstorrent (72 cœurs Tensix, fréquence de 1 GHz, 108 Mo de SRAM, 12 Go de GDDR6, bande passante de 288 Go/s) a atteint 262 FP8 TFLOPS à 160 W, tandis que la carte Wormhole n300 double puce (128 cœurs Tensix, fréquence de 1 GHz, 192 Mo de SRAM, 24 Go de GDDR6 agrégés, bande passante de 576 Go/s) délivre jusqu'à 466 FP8 TFLOPS à 300 W.
Pour mettre en perspective 300 W de 466 TFLOPS FP8, nous allons le comparer à ce que Nvidia, leader du marché de l'IA, propose à cette puissance de conception thermique. L'A100 de Nvidia ne prend pas en charge FP8, mais prend en charge INT8, avec des performances maximales de 624 TOPS (1 248 TOPS en mode sparse). En comparaison, le H100 de Nvidia prend en charge FP8 et atteint des performances maximales de 1 670 TFLOPS à 300 W (3 341 TFLOPS en mode sparse), ce qui est sensiblement différent du Wormhole n300 de Tenstorrent.
Il existe cependant un problème majeur. Le Wormhole n150 de Tenstorrent est vendu 999 $, tandis que le n300 est vendu 1 399 $. À titre de comparaison, une seule carte graphique Nvidia H100 coûte 30 000 $, selon la quantité. Bien sûr, nous ne savons pas si quatre ou huit processeurs Wormhole peuvent réellement offrir les performances d'un seul H300, mais leurs enveloppes thermiques sont respectivement de 600 W et 1 200 W.
En plus des cartes, Tenstorrent propose des stations de travail pré-construites pour les développeurs, dont 4 cartes n300 dans la TT-LoudBox plus abordable basée sur Xeon avec refroidissement actif, et la TT-QuietBox avancée avec fonction de refroidissement liquide Xiaolong basée sur EPYC).
Date de publication : 29 juillet 2024