ST

Live Redaktion

SvyTech

Suche
Startseite/Technologie
Tom's HardwareTechnologie

768 GB Intel Optane-Speicher ermöglicht lokale Kimi K2.5-Installation mit einer GPU: ca. 4 Token pro Sekunde

Ein Reddit-Nutzer hat Aufsehen erregt, indem er einen Workstation-Aufbau mit Optane PMem-DIMMs als Arbeitsspeicher so konfigurierte, dass er ein LLM mit einer Billion Parametern betreiben kann.

27. Mai 2026 Mark Tyson Live Redaktion
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second

Kurzfassung

Warum das wichtig ist

Tom's HardwareTechnologie
  • Ein Reddit-Nutzer hat Aufsehen erregt, indem er einen Workstation-Aufbau mit Optane PMem-DIMMs als Arbeitsspeicher so konfigurierte, dass er ein LLM mit einer Billion Parametern betreiben kann.
  • Ein Reddit-Nutzer hat mit einem ungewöhnlichen Workstation-Aufbau für Aufsehen gesorgt: Durch den Einsatz Arbeitsspeicher konnte er ein Sprachmodell mit einer Billion Parametern lokal betreiben.
  • Der Nutzer APFrisco hat Subreddit r/LocalLLaMA ein kurzes Tutorial veröffentlicht, in dem er beschreibt, wie er gebrauchte Intel Optane Persistent Memory-Module (DCPMM) zu günstigen Preisen auf dem zweiten Markt erwarb.

Das entscheidende Element dieses Erfolgs war der Kauf diskontinuierlich produzierte Speichertechnologie wurde ursprünglich entwickelt, um die Lücke zwischen DRAM und SSD zu schließen.

768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second

Zwar bietet die insgesamt verfügbare Speicherkapazität von 768 GB (128 GB pro Modul) eine deutlich geringere Latenz als die besten NVMe-SSDs, sie ist jedoch immer noch zwei- bis dreimal langsamer als DRAM. Trotz dieser Performance-Einschränkung bleiben die Eigenschaften für LLM-Inferenz-Frameworks attraktiv.

768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second

Der Preis für die gebrauchten Module lag deutlich unter den Kosten für eine äquivalente DRAM-Kapazität. Allerdings ist die Technologie mittlerweile vom Markt genommen, was diese Lösung zu einer exotischen Ausnahme macht. Die genauen Hardwarespezifikationen angegeben:

768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
768 GB Intel Optane-Speicher ermöglicht lokale Kimi K2.5-Installation mit einer GPU: ca. 4 Token pro Sekunde
768 GB Intel Optane-Speicher ermöglicht lokale Kimi K2.5-Installation mit einer GPU: ca. 4 Token pro Sekunde
768 GB Intel Optane-Speicher ermöglicht lokale Kimi K2.5-Installation mit einer GPU: ca. 4 Token pro Sekunde
768 GB Intel Optane-Speicher ermöglicht lokale Kimi K2.5-Installation mit einer GPU: ca. 4 Token pro Sekunde

Quelllink

Tom's Hardware - Originalartikel oeffnen

Thema weiterverfolgen

Technologie ArchivMehr von Tom's Hardware

Interne Verlinkung

Im Kontext weiterlesen

Diese weiterfuehrenden Links verbinden das Thema mit relevanten Archivseiten, Schlagwoertern und inhaltlich nahen Artikeln.

Technologie Archiv

Weitere Meldungen aus derselben Hauptkategorie.

Mehr von Tom's Hardware

Alle veroeffentlichten Inhalte derselben Quelle im Archiv.

NASA plant mit Unterstützung von Blue Origin eine stadtgroße Mondbasis

Redaktionell verwandter Beitrag aus dem selben Themenumfeld.

Elegoo Centauri Carbon 2 Combo: 3D-Drucker für Einsteiger jetzt nur noch 399 Dollar

Redaktionell verwandter Beitrag aus dem selben Themenumfeld.

Quellenprofil

Quelle und redaktionelle Angaben

Quelle
Tom's Hardware
Originaltitel
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
Canonical
https://www.tomshardware.com/tech-industry/artificial-intelligence/enthusiast-runs-1-trillion-parameter-llm-from-768gb-of-intel-optane-dimm-memory-sticks-local-kimi-k2-5-install-achieved-roughly-4-tokens-per-second
Quell-URL
https://www.tomshardware.com/tech-industry/artificial-intelligence/enthusiast-runs-1-trillion-parameter-llm-from-768gb-of-intel-optane-dimm-memory-sticks-local-kimi-k2-5-install-achieved-roughly-4-tokens-per-second

Aehnliche Inhalte

Verwandte Themen und interne Verlinkung

Weitere Artikel aus aehnlichen Themenfeldern, damit Leser direkt im selben Kontext weiterlesen koennen.