PCIe KI-Beschleuniger mit 384 GB RAM: 700-Billionen-LLMs lokal bei nur 240 Watt, weniger als die Hälfte des RTX PRO 6000 Blackwell

Zu den Highlights der Karte gehören: Das Unternehmen gibt an, dass der HTX301 PCIe-KI-Beschleuniger sein erster Inferenz-Chip ist, der auf der HyperThought-Plattform basiert und dessen nächste Generation LPU-IP (Logic Processing Unit Intellectual Property) integriert. Die Plattform wurde speziell für LLMs entwickelt und optimiert Leistung sowie Energieeffizienz.

Die HTX301 sieht aus wie eine Standard-PCIe-Karte und verfügt über einen einzelnen Chip, um den herum das Speichermodul angeordnet ist. Das Unternehmen erklärt, dass jedes Board sechs HTX301-Chips enthält und trotz des Einsatzes eines älteren 28-nm-Prozesses außergewöhnliche Ergebnisse liefert, wie beispielsweise die Erzielung von 30 Tokens pro Sekunde bei lediglich 0,5 TOPS und einer Bandbreite von 100 GB/s.

Die LPU ist zudem hochgradig skalierbar und ermöglicht dadurch verschiedene Designoptionen. Die Octa-Core-LPU erreicht bei der Prefill von Llama2 7B 240 Tokens pro Sekunde; das Unternehmen kann mehrere Chips miteinander verbinden, um im selben LLM bis zu 1.200 Tokens pro Sekunde zu erzielen, wobei zusätzliche Unterstützung für Modelle mit bis zu 700 Milliarden Parametern vorgesehen ist.

Die PCIe-Karte verfügt über bis

Die PCIe-Karte verfügt über bis zu 384 GB Arbeitsspeicher. Sie nutzt standardmäßige LPDDR4- und LPDDR5-DRAMs, sodass keine aufwendigen Lösungen wie LP5X, HBM oder GDDR6/7 erforderlich sind. Das Design wurde für geringere Parameteranzahlen und niedrigere Anforderungen an die DRAM-Bandbreite ausgewählt. Die Architektur des Skymizer HTX301 setzt zudem auf effiziente Komprimierungstechniken.

Ein weiterer Highlight ist der Energieverbrauch: Der Chip benötigt lediglich 240 Watt, also weniger als die Hälfte der 600 Watt, die führende PCIe-AI-Beschleuniger wie die NVIDIA RTX PRO 6000 Blackwell und der AMD Instinct MI350P verbrauchen.

Skymizer verspricht beeindruckende Werte und wird den HTX301 auf der diesjährigen Computex vorstellen; wir werden das Stand des Unternehmens definitiv besuchen, um zu prüfen, ob die Angaben haltbar sind.

Insgesamt klingt dies auf den ersten

Insgesamt klingt dies auf den ersten Blick wie eine beeindruckende KI-Lösung, die dazu anregen könnte, dass mittelständische Unternehmen bei ihren KI-Anforderungen weiterhin auf lokale Server setzen, statt in die Cloud zu investieren. Über den Autor: Hassan Mujtaba ist PC-Enthusiast; er fungiert als Senior-Editor für den Hardware-Bereich bei Wccftech.

Mit jahrelanger Branchenerfahrung spezialisiert er sich auf tiefgehende technische Analysen nächsten Generation für CPUs und GPUs, Mainboards sowie Kühlsystemen. Seine Arbeit umfasst nicht nur die Berichterstattung über aktuelle Neuigkeiten zu kommenden Technologien, sondern auch umfangreiche praktische Tests und Benchmarks. Sie Wccftech auf Google, um weitere unserer Nachrichtenberichterstattung in Ihren Feeds zu erhalten.