Perusahaan chip TensorTorrent yang dipimpin oleh Jim Keller telah merilis prosesor Wormhole generasi berikutnya untuk beban kerja AI, yang diharapkan menawarkan kinerja yang baik dengan harga terjangkau.Saat ini perusahaan menawarkan dua kartu PCIe tambahan yang dapat menampung satu atau dua prosesor Wormhole, serta workstation TT-LoudBox dan TT-QuietBox untuk pengembang perangkat lunak. Semua pengumuman hari ini ditujukan untuk pengembang, bukan mereka yang menggunakan papan Wormhole untuk beban kerja komersial.
“Selalu menyenangkan melihat lebih banyak produk kami sampai ke tangan para pengembang. Sistem pengembangan rilis yang menggunakan kartu Wormhole™ kami dapat membantu pengembang meningkatkan skala dan mengembangkan perangkat lunak AI multi-chip,” kata Jim Keller, CEO Tenstorrent.Selain peluncuran ini, kami sangat gembira melihat kemajuan yang kami capai dalam proses pembuatan prototipe dan pengaktifan produk generasi kedua kami, Blackhole.”
Setiap prosesor Wormhole berisi 72 inti Tensix (lima di antaranya mendukung inti RISC-V dalam berbagai format data) dan 108 MB SRAM, menghasilkan 262 FP8 TFLOPS pada 1 GHz dengan daya desain termal 160W. Kartu Wormhole n150 chip tunggal dilengkapi dengan memori video GDDR6 12 GB dan memiliki bandwidth 288 GB/s.
Prosesor Wormhole menyediakan skalabilitas fleksibel untuk memenuhi beragam kebutuhan beban kerja. Dalam pengaturan workstation standar dengan empat kartu Wormhole n300, prosesor dapat digabungkan menjadi satu unit yang muncul dalam perangkat lunak sebagai jaringan inti Tensix yang terpadu dan luas. Konfigurasi ini memungkinkan akselerator untuk menangani beban kerja yang sama, dibagi antara empat pengembang atau menjalankan hingga delapan model AI yang berbeda secara bersamaan. Fitur utama dari skalabilitas ini adalah kemampuannya untuk berjalan secara lokal tanpa perlu virtualisasi. Dalam lingkungan pusat data, prosesor Wormhole akan menggunakan PCIe untuk ekspansi di dalam mesin, atau Ethernet untuk ekspansi eksternal.
Dari segi performa, kartu Wormhole n150 single-chip Tenstorrent (72 core Tensix, frekuensi 1 GHz, 108 MB SRAM, 12 GB GDDR6, bandwidth 288 GB/s) mencapai 262 FP8 TFLOPS pada daya 160W, sedangkan kartu Wormhole n300 dual-chip (128 core Tensix, frekuensi 1 GHz, 192 MB SRAM, total 24 GB GDDR6, bandwidth 576 GB/s) menghasilkan hingga 466 FP8 TFLOPS pada daya 300W.
Untuk memberikan konteks pada 300W dengan 466 TFLOPS FP8, kita akan membandingkannya dengan apa yang ditawarkan oleh pemimpin pasar AI, Nvidia, pada daya desain termal ini. Nvidia A100 tidak mendukung FP8, tetapi mendukung INT8, dengan kinerja puncak 624 TOPS (1.248 TOPS saat sparse). Sebagai perbandingan, Nvidia H100 mendukung FP8 dan mencapai kinerja puncak 1.670 TFLOPS pada 300W (3.341 TFLOPS saat sparse), yang secara signifikan berbeda dari Wormhole n300 milik Tenstorrent.
Namun, ada satu masalah besar. Wormhole n150 dari Tenstorrent dijual seharga $999, sedangkan n300 dijual seharga $1.399. Sebagai perbandingan, satu kartu grafis Nvidia H100 dijual seharga $30.000, tergantung jumlahnya. Tentu saja, kita tidak tahu apakah empat atau delapan prosesor Wormhole benar-benar dapat memberikan kinerja yang setara dengan satu H300, tetapi TDP-nya masing-masing adalah 600W dan 1200W.
Selain kartu grafis, TensorTorrent juga menawarkan workstation rakitan untuk pengembang, termasuk TT-LoudBox berbasis Xeon dengan 4 kartu n300 yang lebih terjangkau dengan pendinginan aktif, dan TT-QuietBox canggih berbasis Xeon dengan fungsi pendinginan cair (Xeon).
Waktu posting: 29 Juli 2024