Kimi K3 tritt mit 2,8 Billionen Parametern auf den Markt und übertrifft das Modell Claude Fable 5.

Technik und Auswirkungen

Das Modell bietet im Vergleich zur vorherigen Generation Kimi K2 eine 2,5-fache Steigerung der Skalierungseffizienz und zeichnet sich durch zwei grundlegende Innovationen aus: das hybride lineare Aufmerksamkeits-Schema Kimi Delta Attention sowie Attention Residuals, die den Informationsfluss zwischen den Schichten beschleunigen.

Um die Hardware-Kompatibilität auf ein Maximum zu treiben, wurde ein Quantisierungs-empfindlicher Trainingsprozess gewählt, der ab der überwachten Feinabstimmung MXFP4-Gewichte und MXFP8-Aktivierungen einsetzt.

Hohe Leistung bei begrenzter Hardware Moonshot AI führte die Optimierungstests nicht nur auf Nvidia H200-Beschleunigern durch, sondern auch auf GPGPU-Karten eines unbekannten einheimischen Herstellers.

Markt und Strategie

Zudem wurde ein Compiler namens MiniTriton eingesetzt, der auf den für den chinesischen Markt unter den US-Exportbestimmungen entwickelten eingeschränkten L20-Karten läuft.

Das Unternehmen schlägt vor, Superknoten mit 64 oder mehr Beschleunigern bereitzustellen, um den spezialisierten Datenverkehr für Kimi K3 in einem einzigen Bereich mit hoher Bandbreite zu konzentrieren und so eine effiziente Arbeitsweise zu gewährleisten.

Solche softwarebasierten Lösungen sind ein entscheidender Bestandteil der Forschungsarbeiten Chinas zu einheimischen Chips und Beschleuniger-Architekturen, die darauf abzielen, die Auswirkungen Chip-Design und Datenbesprechungen In einer aufschlussreichen Fallstudie, die die autonomen Fähigkeiten K3 demonstriert, entwarf das Modell einen simulierten Inferenzchip für ein auf seiner eigenen Architektur basierendes Mikro-Modell innerhalb eines durchgehigen Arbeitsprozesses von.

Was die Studie zeigt

Diese Entwicklung, die mit Open-Source-EDA-Tools und der Nangate-45-Nanometer-Bibliothek durchgeführt wurde, erreichte eine Frequenz von 100 MHz auf einer Fläche umfasst 1,46 Millionen Standardzellen sowie eine INT4-MAC-Matrix, während der simulierte Code-Decodierungsprozess eine Token-Generierung von über 8.700 pro Sekunde ermöglichte.

Die Leistung des Modells bringt einige Kontroversen mit sich. Anthropic hatte Kimi K3 in der Vergangenheit beschuldigt, Claude-Verkehrsdaten zur Modellbildung zu verwenden. Die hohen Erfolgsquoten K3 könnten diese Vorwürfe bezüglich des Datenverarbeitungsprozesses erneut in den Fokus rücken. Mit der öffentlichen Freigabe der vollen Modellgewichte am 27.

Juli wird erwartet, dass diese Vorwürfe sowie die technischen Daten verifiziert werden. API-Preisgestaltung und Kostenanalyse Die Nutzungsgebühren für das Kimi K3-Modell wurden festgelegt.

Technischer Hintergrund

Für zwischengespeicherte Eingaben werden 0,30 US-Dollar pro Million Token, für nicht zwischengespeicherte Eingaben 3 US-Dollar pro Million Token und für Ausgaben 15 US-Dollar pro Million Token berechnet.

Während die Eingabegebühr des vor einem Jahr eingeführten Kimi K2 bei 0,60 US-Dollar pro Million Token lag, ist die Kosten für nicht zwischengespeicherte Eingaben beim neuen Modell fünfmal höher. Dies verdeutlicht die steigenden Rechenkosten bei hochleistungsfähigen KI-Modellen.