Perusahaan chip yang dipimpin Jim Keller, Tenstorrent, telah merilis prosesor lubang cacing generasi berikutnya untuk beban kerja AI, yang diharapkan untuk menawarkan kinerja yang baik dengan harga yang terjangkau.Perusahaan saat ini menawarkan dua kartu PCIe tambahan yang dapat mengakomodasi satu atau dua prosesor wormhole, serta TT-Loudbox dan TT-QuietBox workstation untuk pengembang perangkat lunak. Semua pengumuman hari ini ditujukan untuk pengembang, bukan yang menggunakan papan lubang cacing untuk beban kerja komersial.
"Selalu memuaskan untuk mendapatkan lebih banyak produk kami ke tangan pengembang. Sistem pengembangan rilis menggunakan kartu Wormhole ™ kami dapat membantu pengembang skala dan mengembangkan perangkat lunak AI multi-chip," kata Jim Keller, CEO TenStorrent.Selain peluncuran ini, kami sangat senang melihat kemajuan yang kami buat dengan rekaman dan daya dari produk generasi kedua kami, Blackhole. "
Setiap prosesor lubang cacing berisi 72 inti tensix (lima di antaranya mendukung inti RISC-V dalam berbagai format data) dan 108 MB SRAM, memberikan 262 fp8 Tflops pada 1 GHz dengan daya desain termal 160W. Kartu N150 Wormhole Single-Chip dilengkapi dengan memori video 12 GB GDDR6 dan memiliki bandwidth 288 GB/s.
Prosesor Wormhole memberikan skalabilitas fleksibel untuk memenuhi beragam kebutuhan beban kerja. Dalam pengaturan workstation standar dengan empat kartu Wormhole N300, prosesor dapat digabungkan menjadi satu unit yang muncul dalam perangkat lunak sebagai jaringan inti Tensix yang terpadu dan luas. Konfigurasi ini memungkinkan akselerator untuk menangani beban kerja yang sama, dibagi antara empat pengembang atau menjalankan hingga delapan model AI yang berbeda secara bersamaan. Fitur utama dari skalabilitas ini adalah bahwa ia dapat berjalan secara lokal tanpa perlu virtualisasi. Dalam lingkungan pusat data, prosesor lubang cacing akan menggunakan PCIe untuk ekspansi di dalam mesin, atau Ethernet untuk ekspansi eksternal.
In terms of performance, Tenstorrent's single-chip Wormhole n150 card (72 Tensix cores, 1 GHz frequency, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandwidth) achieved 262 FP8 TFLOPS at 160W, while the dual-chip Wormhole n300 board (128 Tensix cores, 1 GHz frequency, 192 MB SRAM, aggregated 24 GB GDDR6, 576 GB/S Bandwidth) memberikan hingga 466 FP8 TFLOPS pada 300W.
Untuk memasukkan 300W dari 466 fp8 tflop ke dalam konteks, kami akan membandingkannya dengan apa yang ditawarkan oleh pemimpin pasar AI Nvidia pada kekuatan desain termal ini. A100 NVIDIA tidak mendukung FP8, tetapi mendukung INT8, dengan kinerja puncak 624 atasan (1.248 puncak saat jarang). Sebagai perbandingan, H100 NVIDIA mendukung FP8 dan mencapai kinerja puncak 1.670 TFLOPS pada 300W (3.341 TFLOPS pada jarang), yang secara signifikan berbeda dari Wormhole N300 TenStorrent.
Namun, ada satu masalah besar. TenStorrent's Wormhole N150 dijual seharga $ 999, sedangkan N300 dijual seharga $ 1.399. Sebagai perbandingan, kartu grafis NVIDIA H100 tunggal dijual seharga $ 30.000, tergantung pada jumlah. Tentu saja, kami tidak tahu apakah empat atau delapan prosesor lubang cacing benar -benar dapat memberikan kinerja H300 tunggal, tetapi TDP mereka masing -masing 600W dan 1200W.
Selain kartu, TenStorrent menawarkan workstation yang sudah dibangun untuk pengembang, termasuk 4 kartu N300 di TT-Loudbox berbasis Xeon yang lebih terjangkau dengan pendinginan aktif, dan Fungsi Pendinginan Cair Xiaolong berbasis EPYC).
Waktu posting: Jul-29-2024