OpenAI mobilisiert gesamte Chip-Industrie für KI-Training: AMD, NVIDIA, Intel, Microsoft und Broadcom setzen auf MRC

Wir haben uns mit @AMD, @Broadcom, @Intel, @Microsoft und @NVIDIA verbündet, um Multipath Reliable Connection (MRC) zu veröffentlichen – ein neues offenes Netzwerkprotokoll, das große KI-Trainingsclustern hilft, schneller und zuverlässiger zu laufen und weniger GPU-Zeit zu verschwenden.

OpenAI hat MRC heute über das OCP (Open Compute Project) veröffentlicht, um die breitere Nutzung des Protokolls bei KI-Unternehmen zu ermöglichen. Das Problem, das die Einführung, ist der Datentransfer beim Training großer KI-Modelle. Es wird festgestellt, dass selbst ein einziger verspäteter Transfer den gesamten Prozess unterbrechen und dazu führen kann, dass GPUs ungenutzt bleiben.

Die Hauptursachen für diese Verzögerungen sind Netzwerkkongestion, Verbindungs- und Geräteausfälle. Je größer die Clustergröße ist, desto häufiger tritt dieses Problem auf. MRC ist der grundlegende Ansatz für nächste-Generation- und großskalige Supercomputer-Plattformen für KI.

Moegliche Anwendungen

OpenAI gibt an, dass es sich in den letzten zwei Jahren mit AMD, Broadcom, Intel, Microsoft und NVIDIA zusammengearbeitet hat, um das Protokoll zu entwickeln, das in den neuesten 800-Gbit/s-Netzwerkinterfaces integriert ist. Dies ermöglicht es KI-Unternehmen, einen einzelnen Transfer über Hunderte unterbrochener Pfade zu verteilen, Ausfälle in Mikrosekunden zu umgehen und einfachere Netzwerkkontroll-Ebenen zu betreiben.

Statt jedes Netzwerkinterface als eine einzige 800-Gbit/s-Verbindung zu behandeln, wird diese in mehrere kleinere Links aufgeteilt. Beispielsweise kann ein Interface mit acht verschiedenen Switches verbunden werden. Sie knnen dann acht separate parallele Netzwerke, auch Ebenen genannt, aufbauen, die jeweils mit 100 Gb/s arbeiten, anstatt ein einzelnes 800 Gb/s-Netzwerk.

Diese nderung hat einen erheblichen Einfluss auf die Architektur des Clusters. Ein Switch, der 64 Ports mit 800 Gb/s verbinden kann, kann stattdessen 512 Ports mit 100 Gb/s anschlieen. Dies ermglicht es, ein vollstndig vernetztes Netzwerk 131.000 GPUs mit nur zwei Switch-Ebenen zu realisieren. Ein konventionelles 800 Gb/s-Netzwerk wrde hingegen drei oder vier Ebenen erfordern.

OpenAI Der MRC-Standard erweitert das bestehende

OpenAI Der MRC-Standard erweitert das bestehende RDMA over RoCE (Converged Ethernet). Dies ermglicht hardwarebeschleunigten Remote Direct Memory Access fr GPUs und CPUs. OpenAI hat MRC bereits in seinen Supercomputern eingesetzt, die NVIDIA GB200 Blackwell"-GPUs beherbergen, die fr das Training gehren die Oracle Cloud Infrastructure (OCI) in Abilene, Texas, sowie Microsofts Fairwater-Supercomputer.

Derzeit wird MRC bereits zum Training mehrerer OpenAI-Modelle auf Hardware. Das RCP-Protokoll wird für OpenAIs Supercomputer Stargate, der Abilene, Texas, errichtet wird. Der Supercomputer zielt darauf ab, bis 2029 eine KI-Berechnungsleistung von 10 GW bereitzustellen und hat in den vergangenen drei Monaten bereits mehr als 3 GW deployed.

Durch die Verfügbarkeit und Öffnung des RCP für die gesamte KI-Branche wird der Weg für eine sektorübergreifende Zusammenarbeit bei der Lösung der schwierigsten Probleme im Bereich KI geebnet und der Segment weiterentwickelt. Über den Autor: Hassan Mujtaba, ausgebildet als Softwareingenieur und leidenschaftlicher PC-Enthusiast, fungiert er als Senior Editor für den Hardware-Bereich bei Wccftech.

Mit jahrelanger Branchenerfahrung spezialisiert er sich auf tiefgehende technische Analysen nächsten Generation für CPUs und GPUs, Mainboards sowie Kühlsysteme. Seine Arbeit umfasst nicht nur die Berichterstattung über kommende Technologien, sondern auch umfangreiche praktische Reviews und Benchmarks. Sie Wccftech auf Google, um weitere unserer Nachrichtenabdeckungen in Ihren Feeds zu erhalten.