Anthropic warnt vor unkontrolliertem KI-Wachstum: Rekursive Selbstverbesserung könnte Menschheitskontrolle gefährden

Photonik und Hochgeschwindigkeitsdatenübertragung sind der nächste große Engpass für KI. Der aktuelle Stand der Kühlung in Rechenzentren. Die massiven Bauvorhaben.

Ultra Ethernet: Die zukünftige Vernetzung drei recht düstere Szenarien für die kommenden Jahre skizziert und behält seine schwerwiegendsten Warnungen für den Fall zurück, in dem Modelle in der Lage sein werden, sich vollständig selbst zu verbessern.

In diesem Fall, so Anthropic, würde das Tempo des Fortschritts fast ausschließlich ügbaren Rechenressourcen abhängen, während Menschen überwiegend Aufgaben der Aufsicht und Verifikation übernehmen müssten, und ein sich selbst verbesserndes Modell dominieren würde, sobald seine Fähigkeiten diejenigen der Menschen übersteigen, die es entwickelt haben.

Markt und Strategie

Das Unternehmen hat dieses potenzielle Problem der Ausrichtung sowie die Aufgabe, das Verhalten eines Systems an die menschliche Absicht zu binden, als Teil dessen beschrieben, worüber es sich am wenigsten sicher ist.

Ein heute seltenes und überlebensfähiges Missalignement könnte sich, bis die Kontrolle entgleitet, so die Aussage; doch es wurde eingeräumt, dass ein hinreichend leistungsfähiges und gut ausgerichtete Modell stattdessen die eigene Entwicklung stoppen könnte.

Anthropic wies darauf hin, dass dieses Missalignement „häufiger, aber weniger verstanden werden könnte, bis wir die Kontrolle über sie verlieren." Anthropic stützt diese Warnungen mit einer Reihe interner Daten, die bisher nicht veröffentlicht wurden.

Einordnung fuer Autofahrer

Mehr als 80 % des in den Produktionscodebase im letzten Monat zusammengeführten Codes wurden, im Vergleich zu niedrigen einstelligen Zahlen, bevor Claude Code im Februar des vergangenen Jahres in die Forschungs-Vorschau eingeführt wurde.

Anthropic gibt an, dass ein typischer Ingenieur nun „viermal so viel Code pro Quartal zusammenführt wie im Zeitraum 2021–2025." Bei den schwierigsten und am wenigsten spezifizierten Codierungsaufgaben gab Anthropic an, dass Claude im Mai 2026 in 76 % der Fälle erfolgreich war, was einer Steigerung von 50 Prozentpunkten in sechs Monaten entspricht.

Ein wiederkehrender interner Test, der jedes neue Modell auffordert, den Trainingscode schneller auszuführen, zeigte Ergebnisse, die sich ursprünglichen Geschwindigkeit mit Claude Opus 4 im Mai 2025 auf rund das 52-fache mit dem noch nicht veröffentlichten Mythos Preview-Modell im April steigerten.