Huawei-Team behauptet, DeepSeek-Modell mit 1,6 Billionen Parametern auf Ascend-910C-Chips nachtrainiert zu haben

Huawei führte die Arbeit gemeinsam mit dem Shenzhen Loop Area Institute, dem Shenzhen-Campus des Harbin Institute of Technology und dem Shenzhen Research Institute of Big Data durch. Der Ascend 910C ist Huaweis aktueller Flaggschiff-AI-Beschleuniger, ein Dual-Die-Chip, der in früheren DeepSeek-Tests etwa 60 % der Inferenzleistung einer Nvidia H100 erreichte.

Chinesische Chips sind bei der Inferenz wettbewerbsfähig, bei der ein fertiges Modell auf Abfragen antwortet, jedoch bei dem Training schwach, bei dem die Gewichte eines Modells über große Datensätze hinweg neu berechnet werden.

Das Team gab an, dass es ein vollständiges Post-Training mit allen Parametern durchführte, was bedeutet, dass jedes Gewicht aktualisiert wurde, statt lediglich eine dünne Adapter-Schicht hinzuzufügen. Post-Training entspricht im Wesentlichen der „Feinabstimmung"-Phase, die auf der deutlich umfangreicheren Pre-Training-Phase folgt.

Beim Pre-Training werden die Kernfähigkeiten eines Modells entwickelt, indem es riesige Textkorpora durchläuft; laut der Dokumentation von V4-Pro mehr als 32 Billionen Token. Photonik und Hochgeschwindigkeitsdatenübertragung sind der nächste große Engpass für KI. Der aktuelle Stand der Kühlsysteme in Rechenzentren.

Massive Bauvorhaben für KI-Rechenzentren belasten die Energieversorgung. Ultra Ethernet: Die zukünftige Vernetzung wird das Verhalten durch Befolgung, Sicherheitsausrichtung und datenspezifische Informationen geformt.

Die Fertigstellung auf Ascend-Silizium ist ein echtes Ergebnis für die Plattform, beweist jedoch nicht, dass die Chips ein Frontier-Modell können – eine aufwendigere und kostspieligere Aufgabe.