La société Tenstorrent, spécialisée dans les semi-conducteurs et dirigée par Jim Keller, a lancé son processeur Wormhole de nouvelle génération destiné aux charges de travail d'IA, qui, selon elle, offrira de bonnes performances à un prix abordable.L'entreprise propose actuellement deux cartes PCIe supplémentaires pouvant accueillir un ou deux processeurs Wormhole, ainsi que les stations de travail TT-LoudBox et TT-QuietBox destinées aux développeurs de logiciels. Toutes les annonces d'aujourd'hui s'adressent aux développeurs et non aux utilisateurs de cartes Wormhole pour des applications commerciales.
« C’est toujours gratifiant de voir davantage de nos produits entre les mains des développeurs. Les systèmes de développement utilisant nos cartes Wormhole™ peuvent aider les développeurs à faire évoluer et à développer des logiciels d’IA multi-puces », a déclaré Jim Keller, PDG de Tenstorrent.En plus de ce lancement, nous sommes ravis de constater les progrès que nous réalisons avec la finalisation de l'enregistrement et la mise en service de notre produit de deuxième génération, Blackhole. »
Chaque processeur Wormhole intègre 72 cœurs Tensix (dont cinq prennent en charge les cœurs RISC-V dans différents formats de données) et 108 Mo de SRAM, offrant une puissance de calcul de 262 TFLOPS FP8 à 1 GHz et une enveloppe thermique de 160 W. La carte monopuce Wormhole n150 est équipée de 12 Go de mémoire vidéo GDDR6 et dispose d'une bande passante de 288 Go/s.
Les processeurs Wormhole offrent une évolutivité flexible pour répondre aux besoins variés des charges de travail. Dans une configuration de station de travail standard équipée de quatre cartes Wormhole n300, les processeurs peuvent être combinés en une seule unité, apparaissant dans le logiciel comme un réseau Tensix à cœurs étendu et unifié. Cette configuration permet à l'accélérateur de gérer la même charge de travail, répartie entre quatre développeurs, ou d'exécuter simultanément jusqu'à huit modèles d'IA différents. L'un des principaux atouts de cette évolutivité est sa capacité à fonctionner localement, sans virtualisation. Dans un environnement de centre de données, les processeurs Wormhole utilisent PCIe pour l'extension interne et Ethernet pour l'extension externe.
En termes de performances, la carte Wormhole n150 monopuce de Tenstorrent (72 cœurs Tensix, fréquence de 1 GHz, 108 Mo de SRAM, 12 Go de GDDR6, bande passante de 288 Go/s) a atteint 262 TFLOPS FP8 à 160 W, tandis que la carte Wormhole n300 bipuce (128 cœurs Tensix, fréquence de 1 GHz, 192 Mo de SRAM, 24 Go de GDDR6 agrégés, bande passante de 576 Go/s) offre jusqu'à 466 TFLOPS FP8 à 300 W.
Pour mettre en perspective une puissance de calcul de 466 TFLOPS FP8 à 300 W, comparons-la aux performances offertes par Nvidia, leader du marché de l'IA, à cette même enveloppe thermique. La carte graphique A100 de Nvidia ne prend pas en charge le FP8, mais le INT8, avec une performance maximale de 624 TFLOPS (1 248 TFLOPS en mode sparse). À titre de comparaison, la carte H100 de Nvidia prend en charge le FP8 et atteint une performance maximale de 1 670 TFLOPS à 300 W (3 341 TFLOPS en mode sparse), ce qui la distingue nettement de la Wormhole n300 de Tenstorrent.
Il subsiste toutefois un problème majeur. Le Wormhole n150 de Tenstorrent est vendu au prix de 999 $, tandis que le n300 coûte 1 399 $. À titre de comparaison, une seule carte graphique Nvidia H100 coûte 30 000 $, selon la quantité. Bien sûr, nous ignorons si quatre ou huit processeurs Wormhole peuvent réellement offrir les mêmes performances qu'une seule H300, mais leur TDP est respectivement de 600 W et 1 200 W.
En plus des cartes, Tenstorrent propose des stations de travail pré-assemblées pour les développeurs, notamment 4 cartes n300 dans la TT-LoudBox plus abordable basée sur Xeon avec refroidissement actif, et la TT-QuietBox avancée avec Xiaolong basé sur EPYC) fonction de refroidissement liquide).
Date de publication : 29 juillet 2024