Warum riesige KI-Modelle tatsächlich besser generalisieren

Technik und Auswirkungen

Um besser zu verstehen, wie diese Systeme ihre Antworten generieren, hat eine Gruppe University ein vereinfachtes mathematisches Modell des Lernens in neuronalen Netzen entwickelt, das mit Mitteln der statistischen Physik analysiert werden kann.

Durch den Einsatz vereinfachter „Toy Models" und der Renormierungstheorie aus der statistischen Physik erschließen sich die Forscher an der Harvard University die grundlegenden mathematischen Gesetze, die es großen neuronalen Netzen ermöglichen, das Lernen zu stabilisieren und Overfitting zu vermeiden.

Quelle: Neuroscience News. „Toy Models" – wie dasjenige, das in der kürzlich im Journal of Statistical Mechanics: Theory and Experiment (JSTAT) veröffentlichten Studie vorgestellt wurde – bieten Forschern ein kontrolliertes theoretisches Labor zur Untersuchung der grundlegenden Mechanismen neuronaler Netzwerke.

Technik und Auswirkungen

Ein tieferes Verständnis dafür, wie diese Systeme funktionieren, könnte dazu beitragen, künstliche Intelligenz-Systeme effizienter und zuverlässiger zu gestalten und gleichzeitig einige der aktuellen Herausforderungen zu bewältigen.

Es ist ein wenig so, als hätte Kepler die Gesetze beschrieben, die die Bewegung der Planeten regeln. „Die Entdeckung, Skalengesetze zwischen den Umlaufzeiten der Planeten und ihren Radien zu identifizieren", erklärt Alexander Atanasov, ein Doktorand für theoretische Physik an der Harvard University und Erstautor der neuen Studie.

Kepler formulierte seine Gesetze durch Beobachtung der planetaren Bewegung, ohne die dahinterliegenden Mechanismen vollständig zu verstehen. Doch diese Arbeit erwies sich als entscheidend: Sie ermöglichte Newton später, die Schwerkraft zu entdecken und damit ein viel tieferes Verständnis des Universums zu gewinnen.

Technik und Auswirkungen

Bei der Erforschung des tiefen Lernens – dem Bereich der künstlichen Intelligenz, der auf neuronalen Netzen basiert – befinden wir uns möglicherweise noch in einer ähnlichen keplerschen Phase.

Heute haben Wissenschaftler mehrere empirische Gesetze identifiziert, die beschreiben, wie neuronale Netze funktionieren, doch es fehlt noch eine Art „Theorie der Schwerkraft", die erklärt, warum sie sich so verhalten.

So kennen Wissenschaftler beispielsweise die Skalierungsgesetze. „Wir wissen, dass die Leistung eines Modells zunimmt, wenn wir es größer machen oder ihm mehr Daten zur Verfügung stellen", erklärt Cengiz Pehlevan, Associate Professor für Angewandte Mathematik an der Harvard University und leitender Autor der Studie.

Technik und Auswirkungen

Diese Gesetze machen die Leistung vorhersagbar, enthüllen aber noch nicht die tieferliegenden Mechanismen dahinter. Dieser Ansatz ist nicht nur ineffizient – heutige KI-Systeme verbrauchen enorme Energiemengen –, sondern fördert auch kaum unser Verständnis dafür, wie diese Systeme tatsächlich funktionieren.

Neuronale Netze als biologische Organismen „Tiefenlernmodelle sind keine Satz manuell entwickelt," erklärt Atanasov. „Sie ähneln vielmehr einem Organismus, der im Labor gezüchtet wird." Generative KI-Chatbots stützen sich auf neuronale Netze, eine Technologie, die – auf sehr abstrakte Weise – der Funktionsweise eines biologischen Gehirns ähnelt.

Sie bestehen aus vielen kleinen Verarbeitungseinheiten, den sogenannten künstlichen Neuronen, die jeweils einfache Operationen ausführen, aber in einem komplexen Netzwerk miteinander verbunden sind. Genau diese vernetzte Struktur ermöglicht das Auftreten von „intelligentem" Verhalten.

Technischer Hintergrund

Obwohl wir die ührten mathematischen Operationen kennen, bleibt die Vorhersage und mechanistische Erklärung des Verhaltens des Gesamtsystems außerordentlich schwierig: Mit wachsender Anzahl der Komponenten steigt die Komplexität rapide an.

Da es derzeit unmöglich ist, ein vollskaliges neuronales Netzwerk mit exakten mathematischen Methoden zu analysieren, haben Atanasov und seine Kollegen sich für ein vereinfachtes Modell entschieden, das dennoch viele Schlüsseleigenschaften komplexerer Systeme erfasst. „Das einfach genug, um mathematisch gelöst zu werden", erklärt Jacob Zavatone-Veth, Junior Fellow an der Harvard Society of Fellows und Mitautor der Studie. „Gleichzeitig reproduziert es mehrere der Schlüsselphänomene, die in großen neuronalen Netzen beobachtet werden." Das im Rahmen der Studie verwendete Toy-Modell ist die Ridge-Regression, eine Variante der linearen Regression.

Die lineare Regression ist ein statistisches Verfahren zur Schätzung Beispiel: Wenn wir die Körpergröße und das Gewicht von 100 Personen kennen, können wir mittels linearer Regression einen mathematischen Zusammenhang zwischen beiden Größen herstellen und die Körpergröße einer neuen Person allein auf Basis ihres Gewichts schätzen.

Das Rätsel des Overfitting –

Das Rätsel des Overfitting – und warum es häufig nicht auftritt Ridge-Regression ist eine Regressionsart, die dazu beiträgt, das als Overfitting bekannte Phänomen zu reduzieren.

Wenn Modelle an großen Datensätzen trainiert werden, kann ein neuronales Netzwerk – vergleichbar mit einem sehr gewissenhaften, aber vielleicht nicht besonders einsichtigen Schüler – dazu neigen, die Trainingsdaten lediglich auswendig zu lernen, anstatt Muster zu erfassen, die es ermöglichen, sich zu verallgemeinern und zuverlässige Vorhersagen für neue Daten zu treffen.

Dennoch verhalten sich Deep-Learning-Modelle oft überraschend. „Trotz ihrer enormen Größe können diese Modelle aus den Daten lernen, ohne zu overfitten", erklärt Atanasov und bezeichnet dies als „eines der großen Rätsel des Deep Learnings". Auf den ersten Blick scheint dies kontraintuitiv. Theoretisch sollten größere Modelle anfälliger für Overfitting sein.

Technik und Auswirkungen

Stattdessen zeigen die Skalierungsgesetze, dass die Leistung häufig zunimmt, je mehr Daten während des Trainings verwendet werden. Die neue Studie liefert einen möglichen Baustein für diese Erklärung.

Nach Ansicht der Forscher kann die Fähigkeit neuronaler Netze, ohne Überanpassung zu lernen, auf Prinzipien zurückzuführen sein, die mit der Renormierungstheorie zusammenhängen – einem Rahmenwerk, das in der statistischen Physik weit verbreitet ist. Um zu verstehen, warum dies der Fall ist, lohnt es sich, die Dimensionalität der Daten zu betrachten, die.

Im zuvor betrachteten Beispiel der linearen Regression wurden lediglich zwei Variablen – Größe und Gewicht – herangezogen. Systeme wie ChatGPT arbeiten jedoch in Räumen mit Tausenden oder sogar Millionen, was eine exakte mathematische Analyse extrem schwierig macht. Hier kommen Ideen aus der statistischen Physik ins Spiel.

Technik und Auswirkungen

Bei sehr hochdimensionalen Daten treten kleine zufällige Schwankungen – sogenannte statistische Fluktuationen – Renormierungstheorie zeigt, dass viele mikroskopische Details effektiv in eine kleine Anzahl können, sodass selbst sehr komplexe Systeme ein relativ einfaches makroskopisches Verhalten aufweisen können.

Unter Verwendung dieses Rahmens und ihres vereinfachten Toy-Modells zeigen die Forscher, wie diese hochdimensionalen Fluktuationen das Lernen tatsächlich stabilisieren können, anstatt es zu destabilisieren. „Dies ist etwas, das wir durch die Analyse einfacher linearer Modelle verstehen können", erklärt Pehlevan und deutet an, dass derselbe Mechanismus erklären könnte, warum aktuelle neuronale Netze auch bei starker Überparametrisierung einer Überanpassung (Overfitting) ausweichen.

Das vereinfachte Modell könnte zudem einen weiteren Zweck erfüllen. Wie Zavatone-Veth anmerkt, könnte es als Referenzrahmen (Baseline) dienen, um zu verstehen, wie sich das Lernen in Systemen mit sehr hoher Dimensionalität verhalten könnte.

Technik und Auswirkungen

Indem Forscher ein Modell untersuchen, das einfach genug ist, um mathematisch analysiert zu werden, können sie identifizieren, welche Aspekte des Lernens wahrscheinlich generisch sind – das heißt, dass sie in vielen verschiedenen neuronalen Netzen auftreten sollten – und welche stattdessen Modells abhängen.

In diesem Sinne können Studien dieser Art dazu beitragen, einige der grundlegenden Prinzipien zu klären, die dem Lernen in komplexen Systemen zugrunde liegen. Wichtige Fragen beantwortet: A: Ein „Toy Model" ist eine vereinfachte Version eines komplexen Systems, bei der unnötige Details entfernt wurden, sodass es mit exakter Mathematik gelöst werden kann.

Es ist vergleichbar damit, dass ein Physiker eine „kugelförmige Kuh" untersucht, um die Grundlagen der Biologie zu verstehen; es bietet einen kontrollierten Laborrahmen, um die „Gesetze" des Lernens zu finden, die auf die riesigen Black Boxes des modernen KI-Ansatzes anwendbar sind.

Technik und Auswirkungen

A: Stellen Sie sich einen Schüler vor, der jede einzelne Antwort eines Übungstests auswendig lernt, aber dann die eigentliche Prüfung scheitern lässt, weil er die zugrundeliegenden Konzepte nicht verstanden hat. Das ist Overfitting. KI-Modelle sind groß genug, um das gesamte Internet „auswendig zu lernen", doch sie verstehen dennoch die Muster der Sprache.

Diese Studie legt nahe, dass physikbasierte „Renormierung" dafür sorgt, dass sie auf dem richtigen Weg bleiben. A: Derzeit ist der Aufbau erfordert viel Trial-and-Error. Wenn wir die „Physik" verstehen, nach der diese Modelle wachsen und lernen, können wir sie, sodass sie weniger Daten und Energie benötigen, um dieselbe „Intelligenz" zu erreichen.

Journal of Statistical Mechanics: Theory and Experiment DOI:10.1088/1742-5468/ae4bba Skalierung und Renormierung in hochdimensionaler Regression Überanpassen in überparametrisierten Modellen bis hin zu reichhaltigen Potenzgesetz-Skalierungen der Leistung zeigt einfache Ridge-Regression überraschendes Verhalten, das manchmal nur für tiefe neuronale Netze vorbehalten zu sein scheint.

Technik und Auswirkungen

Dieses Gleichgewicht zwischen phänomenologischer Fülle und analytischer Handhabbarkeit macht die Ridge-Regression zum bevorzugten Modellsystem in der hochdimensionalen maschinellen Lernforschung.

In diesem Artikel präsentieren wir eine vereinheitlichte Perspektive auf aktuelle Ergebnisse zur Ridge-Regression unter Verwendung der grundlegenden Werkzeuge der Zufallsmatrixtheorie und der freien Wahrscheinlichkeit, gerichtet an Leser mit Hintergründen in der Physik und im tiefen Lernen.

Wir betonen, dass statistische Schwankungen in empirischen Kovarianzmatrizen in eine Renormierung des Ridge-Parameters absorbiert werden können.

Technik und Auswirkungen

Diese deterministische quivalenz" ermglicht es uns, mithilfe der Eigenschaften der S-Transformation aus der freien Wahrscheinlichkeit analytische Formeln fr Trainings- und Verallgemeinerungsfehler in wenigen algebraischen Schritten herzuleiten.

Aus diesen przisen asymptotischen Ergebnissen lassen sich die Quellen der Potenzgesetz-Skalierung im Modellverhalten leicht identifizieren. In allen Modellen entspricht die S-Transformation dem Trainings-Test-Verallgemeinerungslcke und liefert ein Analogon zum geschtzten Kreuzvalidierungsverfahren.

Mit diesen Techniken leiten wir feingranulare Bias-Varianz-Zerlegungen fr eine sehr allgemeine Klasse ab. Dies ermglicht es uns, einen Skalierungsregime fr Random-Feature-Modelle zu entdecken, in dem die Varianz aufgrund der Features die Leistung im berparametrisierten Setting begrenzt.

Zudem zeigen wir, wie eine anisotrope Gewichtsstruktur in Random-Feature-Modellen die Leistung einschrnken und nichttriviale Exponenten fr Korrekturen endlicher Breite im berparametrisierten Setting bewirken kann. Unsere Ergebnisse erweitern und bieten einen vereinheitlichenden Ansatz für frühere Modelle neuronaler Skalierungsgesetze.