Selama konferensi cloud berikutnya minggu ini, Google meluncurkan generasi terbaru dari chip akselerator TPU AI -nya.
Chip baru, yang disebut Ironwood, adalah TPU generasi ketujuh Google dan merupakan yang pertama dioptimalkan untuk inferensi-yaitu, menjalankan model AI. Dijadwalkan akan diluncurkan beberapa waktu akhir tahun ini untuk pelanggan Google Cloud, Ironwood akan datang dalam dua konfigurasi: cluster 256-chip dan cluster 9.216-chip.
“Ironwood adalah TPU kami yang paling kuat, mampu, dan hemat energi,” Google Cloud VP Amin Vahdat menulis dalam posting blog yang disediakan untuk TechCrunch. “Dan itu dibuat khusus untuk pemikiran kekuasaan, model AI inferensial pada skala.”
Ironwood tiba ketika kompetisi di ruang akselerator AI memanas. NVIDIA mungkin memiliki petunjuk, tetapi raksasa teknologi termasuk Amazon dan Microsoft mendorong solusi internal mereka sendiri. Amazon memilikinya FRADIUM, IntegritasDan Gaya berat prosesor, tersedia melalui AWS, dan Microsoft tuan rumah Contoh Azure untuk chip Cobalt 100 AI -nya.
Ironwood dapat memberikan 4.614 TFLOPS daya komputasi di puncaknya, menurut pembandingan internal Google. Setiap chip memiliki 192GB RAM khusus dengan bandwidth mendekati 7,4 Tbps.
Ironwood memiliki inti khusus yang ditingkatkan, Sparsecore, untuk memproses jenis data yang umum dalam beban kerja “peringkat lanjutan” dan “rekomendasi” (misalnya algoritma yang menyarankan pakaian yang mungkin Anda sukai). Arsitektur TPU dirancang untuk meminimalkan pergerakan data dan latensi-chip, menghasilkan penghematan daya, kata Google.
Google berencana untuk mengintegrasikan Ironwood dengan AI HyperComputer -nya, sebuah cluster komputasi modular di Google Cloud, dalam waktu dekat, tambah Vahdat.
“Ironwood mewakili terobosan unik di zaman inferensi,” kata Vahdat, “dengan peningkatan daya perhitungan, kapasitas memori, […] Kemajuan jaringan, dan keandalan. ”
