Perusahaan chip yang dipimpin Jim Keller, Tenstorrent, telah merilis prosesor Wormhole generasi berikutnya untuk beban kerja AI, yang diharapkan menawarkan kinerja yang baik dengan harga yang terjangkau.Perusahaan saat ini menawarkan dua kartu PCIe tambahan yang dapat menampung satu atau dua prosesor Wormhole, serta stasiun kerja TT-LoudBox dan TT-QuietBox untuk pengembang perangkat lunak. Semua pengumuman hari ini ditujukan untuk pengembang, bukan mereka yang menggunakan papan Wormhole untuk beban kerja komersial.
"Selalu menyenangkan untuk dapat menghadirkan lebih banyak produk kami ke tangan para pengembang. Merilis sistem pengembangan menggunakan kartu Wormhole™ kami dapat membantu para pengembang untuk meningkatkan skala dan mengembangkan perangkat lunak AI multi-chip," kata Jim Keller, CEO Tenstorrent.Selain peluncuran ini, kami juga gembira melihat kemajuan yang kami buat dalam perekaman dan peningkatan daya produk generasi kedua kami, Blackhole.”
Setiap prosesor Wormhole berisi 72 inti Tensix (lima di antaranya mendukung inti RISC-V dalam berbagai format data) dan 108 MB SRAM, yang menghasilkan 262 FP8 TFLOPS pada 1 GHz dengan daya desain termal 160W. Kartu Wormhole n150 chip tunggal dilengkapi dengan memori video GDDR6 12 GB dan memiliki bandwidth 288 GB/s.
Prosesor Wormhole menyediakan skalabilitas yang fleksibel untuk memenuhi beragam kebutuhan beban kerja. Dalam pengaturan stasiun kerja standar dengan empat kartu Wormhole n300, prosesor dapat digabungkan menjadi satu unit yang muncul dalam perangkat lunak sebagai jaringan inti Tensix yang terpadu dan luas. Konfigurasi ini memungkinkan akselerator untuk menangani beban kerja yang sama, dibagi antara empat pengembang atau menjalankan hingga delapan model AI yang berbeda secara bersamaan. Fitur utama dari skalabilitas ini adalah dapat berjalan secara lokal tanpa perlu virtualisasi. Dalam lingkungan pusat data, prosesor Wormhole akan menggunakan PCIe untuk ekspansi di dalam mesin, atau Ethernet untuk ekspansi eksternal.
Dalam hal kinerja, kartu Wormhole n150 chip tunggal Tenstorrent (72 inti Tensix, frekuensi 1 GHz, SRAM 108 MB, GDDR6 12 GB, lebar pita 288 GB/s) mencapai 262 FP8 TFLOPS pada 160 W, sementara papan Wormhole n300 chip ganda (128 inti Tensix, frekuensi 1 GHz, SRAM 192 MB, agregat GDDR6 24 GB, lebar pita 576 GB/s) menghasilkan hingga 466 FP8 TFLOPS pada 300 W.
Untuk menempatkan 300W dari 466 FP8 TFLOPS dalam konteks, kita akan membandingkannya dengan apa yang ditawarkan pemimpin pasar AI Nvidia pada daya desain termal ini. A100 Nvidia tidak mendukung FP8, tetapi mendukung INT8, dengan kinerja puncak 624 TOPS (1.248 TOPS saat jarang). Sebagai perbandingan, H100 Nvidia mendukung FP8 dan mencapai kinerja puncak 1.670 TFLOPS pada 300W (3.341 TFLOPS saat jarang), yang secara signifikan berbeda dari Wormhole n300 Tenstorrent.
Akan tetapi, ada satu masalah utama. Wormhole n150 buatan Tenstorrent dijual seharga $999, sedangkan n300 dijual seharga $1.399. Sebagai perbandingan, satu kartu grafis Nvidia H100 dijual seharga $30.000, tergantung pada kuantitasnya. Tentu saja, kita tidak tahu apakah empat atau delapan prosesor Wormhole benar-benar dapat memberikan kinerja seperti satu H300, tetapi TDP-nya masing-masing adalah 600W dan 1200W.
Selain kartu, Tenstorrent menawarkan stasiun kerja pra-rakitan untuk pengembang, termasuk 4 kartu n300 dalam TT-LoudBox berbasis Xeon yang lebih terjangkau dengan pendinginan aktif, dan TT-QuietBox canggih dengan fungsi pendinginan cair Xiaolong berbasis EPYC).
Waktu posting: 29-Jul-2024