Anthropic warnt vor KI-Selbstverbesserung: Beschleunigung der Entwicklung erfordert mehr Rechenleistung, bevor Firmen das Risiko verlieren, Frontier-Modelle zu kontrollieren

Das Anthropic Institute, die Forschungssparte des Unternehmens, deutet diesen Trend als frühes Stadium der rekursiven Selbstverbesserung an – dem Punkt, an dem ein Modell seinen eigenen Nachfolger entwirft und baut, ohne wesentlichen menschlichen Eingriff – und warnt, dass die seltenen Fehlalignments in heutigen Modellen „häufiger, aber weniger verstanden werden könnten, bis wir die Kontrolle über sie verlieren".

Bei weiterer Lektüre des Beitrags und unter Berücksichtigung des gesamten Ökosystems der Entwicklung unangenehme Wahrheiten, mit denen auch die Entwickler: Rechenleistung.

Verlust der Kontrolle Anthropic hat drei Szenarien für die Entwicklung in den kommenden Jahren vorgestellt und eine besonders düstere Warnung für den Fall zurückgehalten, in dem Modelle in der Lage sein werden, sich vollständig selbst zu verbessern.

Technik und Auswirkungen

Laut dem Labor würde der Fortschritt dann fast ausschließlich durch verfügbare Rechenleistung bestimmt, menschliche Ingenieure wären auf Überwachung und Verifizierung angewiesen, und ein sich selbst verbesserndes Modell könnte dominieren, sobald seine Fähigkeiten diejenigen derjenigen übersteigen, die es entwickelt haben.

Das Unternehmen bezeichnete dies – die Aufgabe, das Verhalten eines Systems an die menschliche Absicht zu binden – als den Teil dieser Zukunft, der ihm am wenigsten sicher erscheint.

Ein leistungsfähiges, gut ausgerichtetes Modell könnte laut der Firma neue Wege finden, um seine Nachfolger sicher zu halten; umgekehrt könnte jedoch auch das Gegenteil eintreten, und eine Fehlausrichtung könnte sich über Generationen hinweg verstärken.

Als ungewöhnliche Zugeständnis wurde hinzugefügt, dass ein hinreichend weises Modell stattdessen die eigene Entwicklung einstellen könnte.