Neue Speichertechnologie ermöglicht 26-Milliarden-Parameter-Modelle auf PCs mit nur 16 GB RAM

Da intelligente Anwendungen zunehmend leistungsfähiger werden, benötigen sie mehr Speicher, um größere Modelle zu verarbeiten, Sitzungshistorien zu verwalten und mehrstufige Aufgaben auszuführen.

Viele aktuelle PCs verfügen nicht über ausreichend DRAM, um diese Workloads effizient zu bewältigen, was Nutzer dazu zwingt, auf cloudbasierte Dienste zurückzugreifen. Phison gibt an, dass aiDAPTIV diese Einschränkung durch eine Erweiterung des Arbeitsspeichers über den traditionellen DRAM hinaus in Hochleistungs-NAND-Flash-Speicher adressiert.

Die Technologie nutzt das aiDAPTIV Cache Memory bezeichnete System, um zusätzliche Speicherressourcen für lokale Workloads bereitzustellen. Speicherbegrenzungen durchbrochen: Laut Phison zeigten interne Tests, dass ein Modell mit 26 Milliarden Parametern auf einem System mit 16 GB DRAM ausgeführt werden kann, wenn aiDAPTIV aktiviert ist.

Unter identischen Testbedingungen benötigte derselbe Workload

Unter identischen Testbedingungen benötigte derselbe Workload ohne diese Technologie 32 GB DRAM.

Das Unternehmen gab an, dass die Plattform zudem Laufzeitfunktionen wie die Wiederverwendung des KV-Caches unterstützt, was dazu beiträgt, Informationen aus früheren Interaktionen zu bewahren und die Notwendigkeit wiederholter Verarbeitung desselben Datenmaterials zu verringern.

Die Zusammenarbeit mit Intel konzentriert sich darauf, aiDAPTIV auf Intel AI-PC-Plattformen mit Core-Ultra-Prozessoren verfügbar zu machen.

Technischer Hintergrund

Die Unternehmen arbeiten zudem an der Unterstützung für Intels OpenVINO-Toolkit und evaluieren optimierte Workloads für zukünftige Leistungsdemonstrationen. „AI-PCs entwickeln sich zu Plattformen für anspruchsvollere lokale KI-Arbeitslasten, einschließlich agentenbasierter Anwendungen und größerer MoE-Modelle, die zunehmend hohe Anforderungen an den Speicherkapazität und die Reaktionsfähigkeit stellen", sagte KS Pua, CEO und Gründer. „Durch unsere Zusammenarbeit mit Intel ermöglicht aiDAPTIV die Erweiterung des für KI-Arbeitslasten auf Intel AI-PC-Plattformen verfügbaren Speichers.

Dadurch können OEMs, Entwickler und Endnutzer leistungsfähigere KI-Anwendungen lokal ausführen, während Privatsphäre und Infrastruktureffizienz gewahrt bleiben." Lokale Modelle erweitern die Möglichkeiten: Auf der Computex demonstrierten die Unternehmen eine lokale Chat-Oberfläche, die ein Mixture-of-Experts-Modell ausführt, das normalerweise den verfügbaren System-Speicher überschreiten würde.

Phison stellte zudem ein hybrides Routing-System für große Sprachmodelle vor, das auf OpenClaw, einem Open-Source-Agenten-Framework, basiert. Die Demonstration ermöglichte es, größere Modelle lokal auszuführen und Cloud-Ressourcen nur dann zu nutzen, wenn komplexere Anfragen zusätzliche Verarbeitung erfordern.

Intel betonte, dass der Arbeitsspeicher weiterhin eine der Hauptbarrieren für den Einsatz fortschrittlicher Modelle auf Client-Hardware darstellt. „Mehr Nutzer und Unternehmen möchten KI lokal ausführen – schneller, privater und ohne die Kosten, die entstehen, wenn alles in die Cloud geschickt wird", sagte Jim Johnson, Senior Vice President und General Manager für Client Computing bei Intel. "Unsere Zusammenarbeit mit Phison ermöglicht es den Intel AI PC-Plattformen, größere lokale KI-Arbeitslasten mit einfacheren Speicherkonfigurationen zu unterstützen, sodass Kunden ihre eigenen Daten in nützliche Anwendungen verwandeln und echten geschäftlichen Mehrwert zu geringeren Gesamtkosten erzielen können." Die Ankündigung erfolgte auf der Computex 2026 in Taipeh.