Perusahaan chip Tenstorrent yang dipimpin Jim Keller telah merilis prosesor Wormhole generasi berikutnya untuk beban kerja AI, yang diharapkan dapat menawarkan kinerja baik dengan harga terjangkau.Perusahaan saat ini menawarkan dua kartu PCIe tambahan yang dapat menampung satu atau dua prosesor Wormhole, serta stasiun kerja TT-LoudBox dan TT-QuietBox untuk pengembang perangkat lunak. Semua pengumuman hari ini ditujukan untuk pengembang, bukan mereka yang menggunakan papan Wormhole untuk beban kerja komersial.
“Selalu menyenangkan untuk bisa mendapatkan lebih banyak produk kami ke tangan pengembang. Merilis sistem pengembangan menggunakan kartu Wormhole™ kami dapat membantu pengembang meningkatkan dan mengembangkan perangkat lunak AI multi-chip,” kata Jim Keller, CEO Tenstorrent.Selain peluncuran ini, kami sangat gembira melihat kemajuan yang kami capai dengan peluncuran dan peningkatan produk generasi kedua kami, Blackhole.”
Setiap prosesor Wormhole berisi 72 inti Tensix (lima di antaranya mendukung inti RISC-V dalam berbagai format data) dan 108 MB SRAM, menghasilkan 262 FP8 TFLOPS pada 1 GHz dengan daya desain termal 160W. Kartu Wormhole n150 chip tunggal dilengkapi dengan memori video GDDR6 12 GB dan memiliki bandwidth 288 GB/s.
Prosesor wormhole memberikan skalabilitas yang fleksibel untuk memenuhi beragam kebutuhan beban kerja. Dalam pengaturan stasiun kerja standar dengan empat kartu Wormhole n300, prosesor dapat digabungkan menjadi satu unit yang muncul dalam perangkat lunak sebagai jaringan inti Tensix yang luas dan terpadu. Konfigurasi ini memungkinkan akselerator menangani beban kerja yang sama, dibagi antara empat pengembang, atau menjalankan hingga delapan model AI berbeda secara bersamaan. Fitur utama dari skalabilitas ini adalah dapat berjalan secara lokal tanpa memerlukan virtualisasi. Di lingkungan pusat data, prosesor Wormhole akan menggunakan PCIe untuk ekspansi di dalam mesin, atau Ethernet untuk ekspansi eksternal.
Dalam hal kinerja, kartu Wormhole n150 chip tunggal Tenstorrent (72 Tensix core, frekuensi 1 GHz, 108 MB SRAM, 12 GB GDDR6, bandwidth 288 GB/s) mencapai 262 FP8 TFLOPS pada 160W, sedangkan papan Wormhole n300 chip ganda (128 Tensix core, frekuensi 1 GHz, 192 MB SRAM, agregat 24 GB GDDR6, bandwidth 576 GB/s) menghasilkan hingga 466 FP8 TFLOPS pada 300W.
Untuk memasukkan 300W dari 466 FP8 TFLOPS ke dalam konteksnya, kami akan membandingkannya dengan apa yang ditawarkan pemimpin pasar AI Nvidia pada kekuatan desain termal ini. A100 Nvidia tidak mendukung FP8, tetapi mendukung INT8, dengan kinerja puncak 624 TOPS (1.248 TOPS jika jarang). Sebagai perbandingan, Nvidia H100 mendukung FP8 dan mencapai kinerja puncak 1.670 TFLOPS pada 300W (jarang 3.341 TFLOPS), yang sangat berbeda dari Wormhole n300 Tenstorrent.
Namun, ada satu masalah besar. Wormhole n150 Tenstorrent dijual seharga $999, sedangkan n300 dijual seharga $1.399. Sebagai perbandingan, satu kartu grafis Nvidia H100 dijual seharga $30.000, tergantung kuantitas. Tentu saja, kita tidak tahu apakah empat atau delapan prosesor Wormhole benar-benar dapat memberikan kinerja satu H300, namun TDP masing-masing adalah 600W dan 1200W.
Selain kartu, Tenstorrent menawarkan stasiun kerja siap pakai untuk pengembang, termasuk 4 kartu n300 dalam TT-LoudBox berbasis Xeon yang lebih terjangkau dengan pendingin aktif, dan TT-QuietBox canggih dengan fungsi pendingin cair Xiaolong berbasis EPYC).
Waktu posting: 29 Juli-2024