Britisches Unternehmen stellt weltweit erstes optisches System für Echtzeit-LLM-Inferenz vor

Es wird erwartet, dass Rechenzentren, die fr die kommende KI-ra gebaut werden, mehr Strom verbrauchen als je zuvor. Schtzungen zufolge wird die globale Stromnachfrage bis zum Ende dieses Jahrzehnts verdoppeln, da Unternehmen darum konkurrieren, der wachsenden Nachfrage nach KI-Inferenz gerecht zu werden.

Aber Oxford ansässiges Lumai glaubt, dass es nicht so sein muss, dank ihrem optischen Computersystem, das skalierbar und sofort einsatzbereit ist. Optisches ComputersystemMit sinkender Rendite bei siliziumbasiertem Computing hat Lumai seine Aufmerksamkeit.

Das Unternehmen deutet an, dass dieser einfache Wechsel es ihm ermöglicht, eine Größenordnung Steigerung der Rechenleistung zu liefern bei gleichzeitiger Erzielung erheblicher Energieeinsparungen.

Lumais Iris Nova ist ein Server,

Lumais Iris Nova ist ein Server, der Licht nutzt, um die Einschränkungen zweidimensionaler Siliziumchips zu umgehen und massive räumliche Parallelität zu erreichen. Der Server setzt einen Hybridprozessor ein, der eine optische Tensor-Engine für mathematische Berechnungen und digitale Verarbeitung für die Systemsteuerung verwendet.

Das Unternehmen, ein Spin-off der University of Oxford, arbeitet an optischem Computing mit der klaren Mission, der wachsenden Nachfrage nach Computing im Zuge des Aufschwungs der KI gerecht zu werden. Durch die Nutzung kann das System Millionen ühren.

Lumais optische Prozessoren ermöglichen eine schnellere Inferenz und eine höhere Ausführungseffizienz und erzielen damit erhebliche Energieeinsparungen. Nach Schätzungen des Unternehmens liefern Lumai-Server dieselbe Leistung wie herkömmliche Systeme bei einem Verbrauch 90 Prozent weniger Strom.

Billionen-Parameter-LLM in EchtzeitUm seine Fähigkeiten

Billionen-Parameter-LLM in EchtzeitUm seine Fähigkeiten zu demonstrieren, führte Lumai kürzlich mithilfe seines hybriden digitalen Prozessors auf dem Iris Nova Server Inferenz für Llama 8B und 70B in Echtzeit durch. Dies zeigt auch, dass die Server sich nahtlos in Rechenzentren integrieren und in bestehende Workflows übernommen werden können.

Lumai hat den Nova Server zur Evaluierung für Hyperscaler, Neo-Clouds, Unternehmen und Forschungsinstitute verfügbar gemacht. Das Unternehmen wird jedoch nicht hier bei der Sache bleiben.

Die Reihe umfasst auch zwei weitere Server, Aura und Tetra, die zweifellos mehr Kapazitt bieten und KI-Inferenz nachhaltiger liefern knnen als GPU-basierte Systeme. Die Anforderungen an bestehende KI-Prozessoren erfordern eine dringende Suche nach alternativen Skalierungswegen, sagte Suraj Bramhavar, Program Director bei ARIA, einer . Lumai ist fhrend bei der Demonstration, dass optische Prozessoren einen solchen Weg bieten knnten, und die Advanced Research and Invention Agency (ARIA) freut sich darauf, mit ihnen zusammenzuarbeiten, um den bergang ber unser traditionelles digitales Paradigma der Datenverarbeitung zu erforschen. Whrend sich die Branche in die Inferenz-ra bergeht, berschreiten wir gleichzeitig die Schwelle zur Post-Silicon-ra, fgte Xianxin Guo, CEO und Co-Founder , in einer Pressemitteilung hinzu.