KI-Chips nutzen neuartige HBM-Architektur, um thermische Grenzen zu überwinden

Technik und Auswirkungen

In Simulationen mit KI-Arbeitslasten im Maßstab 3 erreichte das V-Die-System eine Verarbeitungsgeschwindigkeit von 540 Tokens pro Sekunde. Dies entspricht einer Verdopplung der Leistung von HBM4-basierten Systemen, die lediglich 296 Tokens pro Sekunde verarbeiten können.

Zudem wurde die Latenz des ersten Tokens um 32 Prozent auf etwa 24 Millisekunden reduziert. ## Projekt MOSAIC und berührungslose Verbindungen Das Leitung der Universität Tokio vorgestellte MOSAIC-Design konzentriert sich auf die Herausforderungen beim Montieren im Verhältnis, die zu Verbindungsfehlern führen könnten, setzt die MOSAIC-Architektur auf eine kontaktlose Schnittstelle basierend auf elektromagnetischer Induktion.

Dank der Mikrospulen auf den Chips können Daten ohne physischen Kontakt übertragen werden. Der entwickelte Prototyp der Schnittstelle erreicht eine Datenübertragungsrate von 4 Gbps pro Kanal. Die Forscher geben an, dass diese Struktur die Speicherkapazität der HBM4-Klasse verdoppeln kann, ohne die Temperatur zu erhöhen.

In den durchgeführten Tests wurde bei

In den durchgeführten Tests wurde bei einem System mit Mikroerhebungen im Abstand von 100 Mikrometern eine Ausrichtung mit einer Präzision von 6 Mikrometern erzielt.

Mit dieser Methode wurden im Vergleich zu herkömmlichen Designs eine dreifach höhere Wärmeleitfähigkeit und eine um 30 Prozent größere Speicherkapazität erreicht. ## Zukunftsperspektiven für Speichertechnologien Sowohl das V-Die- als auch das MOSAIC-Projekt zielen darauf ab, den Speicherdurchsatz zu optimieren, der zu den größten Hindernissen für KI-Beschleuniger gehört.

Auch wenn diese vertikalen Integrationsansätze noch nicht für den kommerziellen Einsatz bereit sind, könnten sie Systeme mit enormem Speicherbedarf, wie beispielsweise Nvidia Blackwell, deutlich kühler und effizienter betreiben lassen.

Technischer Hintergrund

Im Sektor arbeiten große Unternehmen wie Intel, SoftBank und Samsung weiterhin an alternativen Kühlungs- und Speicherkonzepten, um die Anforderungen der nächsten Generation üllen. ### SvyTech-Einordnung Die vorgestellten Architekturen adressieren direkt die physikalischen Grenzen der aktuellen HBM-Technologie, insbesondere die thermische Belastung durch vertikales Stapeln.

Während das V-Die-Design durch aktive Kühlung die Betriebstemperatur drastisch senkt, bietet MOSAIC eine passive Lösung durch berührungslose Datenübertragung, die gleichzeitig die Kapazität erhöht.

Beide Ansätze zeigen, dass die seitliche Anordnung ist, um die Leistungsdichte zu steigern, ohne die thermischen Toleranzen zu überschreiten. ### Was Leser daraus mitnehmen Für die Entwicklung zukünftiger KI-Hardware bedeutet dies, dass die reine Skalierung durch mehr Schichten bald an physikalische Grenzen stoßen wird.

Die hier beschriebenen Innovationen deuten darauf hin, dass die nächste Generation, sondern auch deutlich effizienter im Wärmemanagement sein wird. Dies ist entscheidend für den Einsatz in Hochleistungsrechnern und spezialisierten KI-Infrastrukturen, wo Überhitzung bisher ein Hauptproblem darstellte.