Google bringt TPU 8 Chips auf den Markt, um das Training von KI zu beschleunigen und Kosten zu senken

Technischer Hintergrund

Agenten-ra-SchubGoogle sagte, dass TPU 8i 288 GB Hochbandbreiten-Speicher und 384 MB On-Chip-SRAM enthlt, was hilft, aktive Modelldaten nher am Prozessor zu halten, um schnellere Antworten zu gewhrleisten. Der Chip verwendet außerdem Googles Axion Arm-basierte CPUs und eine verbesserte Interconnect-Bandbreite für Mixture of Experts, oder MoE, Modelle.

Diese Architekturen aktivieren nur Teile eines Modells gleichzeitig, um Kosten zu senken und gleichzeitig die Leistung zu skalieren. Laut Google liefert der TPU 8i eine um 80 % bessere Leistung pro Dollar als die vorherige Generation, was es Kunden ermöglicht, bei gleichen Kosten fast doppelt so viel Arbeitslast zu bewältigen.

Die Einführung unterstreicht, wie die KI-Infrastruktur über allgemeine GPUs hinausgeht und sich hin zu spezialisierten Chips entwickelt, die für verschiedene Arbeitslasten abgestimmt sind.

Technik und Auswirkungen

Google erklärte, dass die Zwei-Chip-Strategie durch den Aufstieg, die Systeme benötigen, die Aufgaben durchdenken, Workflows ausführen und wiederholt mit Tools und anderen Modellen interagieren können. In Rechenzentren berichtete Google, dass beide Chips außerdem eine bis zu doppelt bessere Leistung pro Watt als Ironwood bieten.

Sie verwenden vierteilige Flüssigkeitskühlung, um eine höhere Rechendichte zu unterstützen und gleichzeitig den Stromverbrauch zu kontrollieren.

Die Ankündigung unterstreicht auch Googles breiteren Versuch, Nvidias Griff auf die KI-Hardware zu herausfordern, indem es benutzerdefinierte Siliziumbausteine, Networking, Software-Frameworks und Cloud-Dienste in einem Stack kombiniert. Sowohl TPU 8t als auch TPU 8i werden später in diesem Jahr über Google Cloud verfügbar sein.

Google sagte, die Chips unterstützen auch Frameworks wie JAX, PyTorch, SGLang und vLLM und ermöglichen es Entwicklern, bestehende KI-Workloads ohne größere Software-Neuschreibungen oder Migrationshürden auszuführen.