Tenstorrent de Jim Keller, dirigée par Jim Keller, a publié son processeur de trous de vision de nouvelle génération pour les charges de travail de l'IA, qu'il prévoit d'offrir de bonnes performances à un prix abordable.La société propose actuellement deux cartes PCIe supplémentaires pouvant accueillir un ou deux processeurs de trous de ver, ainsi que des postes de travail TT-Loudbox et TT-Quietbox pour les développeurs de logiciels. Toutes les annonces d'aujourd'hui sont destinées aux développeurs, pas à celles qui utilisent des cartes de trous pour les charges de travail commerciales.
«Il est toujours gratifiant de mettre plus de nos produits entre les mains des développeurs. Les systèmes de développement de libération à l'aide de nos cartes Wormhole ™ peuvent aider les développeurs à évoluer et à développer un logiciel AI multi-chip», a déclaré Jim Keller, PDG de Tenstorrent.En plus de ce lancement, nous sommes ravis de voir les progrès que nous faisons avec la bande et la mise sous tension de notre produit de deuxième génération, Blackhole. »
Chaque processeur de trou de ver contient 72 cœurs de tensixe (dont cinq prennent en charge les noyaux RISC-V dans divers formats de données) et 108 Mo de SRAM, offrant 262 FP8 Tflops à 1 GHz avec une puissance de conception thermique de 160W. La carte N150 à trous de ver unique est équipée d'une mémoire vidéo GDDR6 de 12 Go et a une bande passante de 288 Go / s.
Les processeurs de trou de ver offrent une évolutivité flexible pour répondre aux divers besoins des charges de travail. Dans une configuration standard de poste de travail avec quatre cartes N300 sans ver N300, les processeurs peuvent être combinés en une seule unité qui apparaît dans le logiciel en tant que réseau central de tensix unifié et large. Cette configuration permet à l'accélérateur de gérer la même charge de travail, de diviser entre quatre développeurs ou de gérer simultanément jusqu'à huit modèles d'IA différents. Une caractéristique clé de cette évolutivité est qu'elle peut s'exécuter localement sans avoir besoin de virtualisation. Dans un environnement de centre de données, les processeurs de trous de ver utiliseront PCIe pour l'expansion à l'intérieur de la machine ou Ethernet pour une expansion externe.
En termes de performances, la carte N150 à trous de ver de Tenstorrent (72 cœurs Tensix, 1 GHz Fréquence, 108 Mo SRAM, 12 Go GDDR6, 288 Go / s Bandwidth) a atteint 262 FP8 Tflop Aggrété 24 Go GDDR6, 576 Go / s de bande passante) fournit jusqu'à 466 FP8 Tflops à 300W.
Pour mettre en contexte 300W de 466 FP8 Tflops, nous le comparerons à ce que le leader du marché de l'IA propose à cette puissance de conception thermique. L'A100 de NVIDIA ne prend pas en charge FP8, mais il prend en charge INT8, avec des performances de pointe de 624 sommets (1 248 sommets lorsqu'ils sont clairsemés). En comparaison, le H100 de NVIDIA prend en charge FP8 et atteint des performances maximales de 1 670 TFLOP à 300W (3 341 tflops à la clairserie clairsemée), ce qui est significativement différent du trou de trou de ver de Tenstorrent N300.
Cependant, il y a un problème majeur. Tenstorrent's Wormhole N150 coûte 999 $, tandis que le N300 se vend 1 399 $. En comparaison, une seule carte graphique NVIDIA H100 coûte 30 000 $, selon la quantité. Bien sûr, nous ne savons pas si quatre ou huit processeurs de trou de ver peuvent réellement fournir les performances d'un seul H300, mais leurs TDP sont respectivement de 600W et 1200W.
En plus des cartes, Tenstorrent propose des postes de travail prédéfinis pour les développeurs, y compris 4 cartes N300 dans la boîte TT-Loud-Loud à base de Xeon plus abordable avec un refroidissement actif, et la fonction de refroidissement liquide avancée avec un Xiaolong) basé sur EPYC).
Temps de poste: juillet-29-2024