Apples neue CoreAI-Engine übertrifft MLX bei 8-Billionen-Modellen kaum, bleibt bei kleinen Modellen aber 2,47-mal schneller

Apple hat schließlich CoreAI vorgestellt, den Nachfolger seines CoreML-Engines, der rund neun Jahre lang unangefochten dominierte. CoreAI bringt formatagnostische Inferenz sowie Unterstützung für große Modell-Speicheranf Apple hat schließlich CoreAI vorgestellt, den Nachfolger seines CoreML-Engines, der rund neun Jahre lang unangefochten dominierte.

CoreAI bringt formatagnostische Inferenz sowie Unterstützung für große Modell-Speicheranforderungen mit sich. Dennoch zeichnen sich erste Tests ein viel differenzierteres Bild den daraus resultierenden On-Device-Modellen ab.

Neue Benchmark-Tests zeigen, dass Apples CoreAI bei einer realistischen Modellgröße von 8 Milliarden Parametern „fast ein Gleichstand mit MLX" erreicht.

Für diejenigen, die dies vielleicht nicht wissen, wurde Apples CoreML-Maschinenlern-Framework bereits 2017 eingeführt, um vor allem kleinere, statische Maschinenlernaufgaben wie Bildklassifizierung und Baum-Ensembles auszuführen. CoreAI ist das brandneue Nachfolgeprodukt, das für Edge-KI und On-Device-Inferenz optimiert wurde.