Colibrì-Projekt: Großes KI-Modell mit 1,5 TB Größe läuft auf 25 GB RAM

Der italienische Ingenieur Vincenzo (JustVugg) ist mit seinem neuen Konzeptnachweisprojekt „Colibrì" gelungen, das 744 Milliarden Parameter umfassende GLM-5.2-Modell – welches unter normalen Bedingungen Hardware auf Rechenzentrumsniveau erfordert – auf einem Standard-Computer zum Laufen zu bringen.

Dieses gewaltige Modell, das etwa 1,5 TB Speicherplatz beansprucht, wurde dank der entwickelten speziellen Methode mit lediglich 25 GB Arbeitsspeicher und einem bescheidenen Prozessor in Betrieb genommen.

Schichtweise Laden und MoE-Architektur Das Fundament des Colibrì-Projekts ist eine Strategie, die (MoE), also der Architektur des „Mixtures of Experts", profitiert. Modelle wie GLM-5.2 beinhalten hunderte Unter-Expertenmodelle, um auf verschiedene Themen zu antworten.

Technischer Hintergrund

Anstatt das gesamte Modell in den Arbeitsspeicher zu laden, lädt Colibrì für jedes einzelne Token die benötigten Experten schichtweise in den RAM und gibt sie wieder frei. Dieser Vorgang wird mit einer optimierten Codebasis ausgeführt, die über eine einzige C-Datei läuft und nur sehr wenige Abhängigkeiten aufweist.