KI beweist: Sprache entwickelt sich zur besseren Lernbarkeit

Technik und Auswirkungen

Modern AI Intersection: Die Studie belegt, dass die strukturelle Emergenz, die in massiven generativen KI-Tools beobachtet wird, auf denselben kognitiven Prinzipien beruht, die auch in der kindlichen Entwicklung zu finden sind.

Die Architektur eines Lernnetzwerks und die Komplexität seiner Umgebung bestimmen, wie effektiv es Sprache aufnehmen und weitergeben kann. Intersection of Cognition: Erstautor Dr.

Devon Jarvis stellt fest, dass zwar tiefe lineare Netzwerke und iteriertes Lernen als isolierte Konzepte in getrennten Fachliteraturen existierten, ihre Kombination jedoch beweist, dass Sprache spezifisch so evolviert, dass sie lernbar wird – basierend auf der stufenweisen Art und Weise, wie Kinder Daten verarbeiten, und der Bevorzugung Universität des Witwatersrand in Südafrika haben erhebliche Auswirkungen auf das Verständnis sowohl der menschlichen Sprachentwicklung als auch des Verhaltens ßen künstlichen Intelligenz-Sprachmodellen.

Technik und Auswirkungen

Kultur spielt eine entscheidende Rolle, ebenso wie das Verständnis von „iterativem Lernen", das besagt, dass Sprache über Generationen hinweg (bei Menschen und Computern) strukturierter wird. „Wir haben einen Computer-Gehirn mit ähnlichen Eigenschaften wie das eines Kindes erstellt und dessen Verhalten mit dem, das wir bei Kindern beobachten, verglichen.

Anschließend haben wir es mit Daten gefüttert, die ähnliche Eigenschaften aufweisen wie die menschliche Sprache, und beobachtet, wie die verschiedenen Generationen (Versionen) des Computer-Gehirns lernen." „Es stellte sich heraus, dass Computer-Gehirne die Struktur in den Daten auf dieselbe Weise finden, auf die Kinder bestimmte Eigenschaften der Sprache beim Lernen bevorzugen." Darüber hinaus zeigt die Studie, dass der Datensatz (Sprache) über Generationen hinweg strukturierter wird, da dies das Lernen erleichtert", sagt leitender Autor Dr.

Devon Jarvis, Dozent an der School of Computer Science and Applied Mathematics (CSAM) und Fellow am Wits Machine Intelligence and Neural Discovery (MIND) Institute.

Ihre Ergebnisse wurden kürzlich in einem

Ihre Ergebnisse wurden kürzlich in einem Paper mit dem Titel „Compositionality and Systematicity Emerge from Iterated Learning in Deep Linear Networks" im renommierten Journal Proceedings of the National Academy of Sciences (PNAS) veröffentlicht.

Jarvis erklärt, dass Kinder eine bemerkenswerte Fähigkeit besitzen, Sprache während der frühen Entwicklung rasch zu erlernen. Sie lernen die Welt in Hierarchien: beginnend mit grundlegenden Konzepten und schrittweise komplexere zu verstehen. „Zuerst lernen sie, dass Pflanzen und Tiere unterschiedliche Dinge sind.

Anschließend lernen sie, dass es verschiedene Tierarten gibt. „Aber irgendwann gibt es ein Verständnis der Welt, das sie noch nicht erreicht haben", sagt Jarvis. Nehmen wir den Pinguin als Beispiel. Kinder lernen, dass Vögel Flügel haben und daher fliegen können. AHA! Doch sie sind verwirrt, dass der Pinguin nicht fliegen kann.

Hier überextrapolieren sie zu sehr,

Hier überextrapolieren sie zu sehr, und es werden Fehler gemacht, die ihnen dann helfen, neue Informationen zu erlernen: Pinguine können nicht fliegen, aber sie können schwimmen, AHA!.

Und langsam bauen sie ein strukturiertes Verständnis der Welt mit zunehmender Präzision auf. „Während dieser schrittweise Wissensgewinn Vorteile hat, konzentriert sich die Arbeit auf die Implikationen für Generationen Sprache sie schließlich an seine eigenen Kinder weitergeben.

Aufgrund der Komplexität der Sprache führt diese Weitergabe zu Fehlern." „Genau wie im Pinguin-Beispiel sind diese Fehler nicht willkürlich, sondern ergeben sich aus der Überverallgemeinerung, dass leicht zu erlernende Sprachanteile behalten und wiederverwendet werden, während die weniger strukturierten Anteile vergessen werden. „Im Wesentlichen sind Individuen gut darin zu lernen, doch erst unter dem Druck der Kommunikation zeigt sich wirklich die Tiefe ihrer Intelligenz", erklärt Jarvis.

Technik und Auswirkungen

Die Forscher untersuchten die neuronale Grundlage dieses Prozesses mit tiefen linearen neuronalen Netzen (mathematischen Modellen, die abbilden, wie das Gehirn Informationen verarbeitet).

Sie stellten fest, dass iteriertes Lernen nur dann gut funktioniert, wenn das Netz über ausreichende Tiefe, mehrere Verarbeitungsschichten und eine hinreichend komplexe Sprache verfügt. Shallow Networks, also Netze mit weniger Schichten, scheiterten daran, die strukturierten Regelmäßigkeiten zu erfassen, die Sprache lernbar machen.

Dies deutet darauf hin, dass sowohl die Architektur eines Lernelements – ob biologisch oder künstlich – als auch die Reichhaltigkeit seiner Umgebung eine entscheidende Rolle dafür spielen, wie gut Sprachstrukturen aufgenommen und weitergegeben werden können.

Technik und Auswirkungen

Ein weiterer wichtiger Aspekt der jüngsten Fortschritte in generativen KI-Modellen ist deren starke Abhängigkeit für ihre emergenten Fähigkeiten. Jarvis fährt fort: „Die Bausteine dieser Arbeit sind bereits seit einiger Zeit in den verschiedenen Fachliteraturen vorhanden.

Tiefgreifende lineare Netzwerke sind etablierte Modelle der kindlichen Entwicklung, und iteriertes Lernen ist Linguisten seit vielen Jahren bekannt." „Aber es ist die Kombination dieser beiden Perspektiven, die einen nützlichen Punkt hervorhebt: dass sich Sprache entwickelt, um lernbar zu werden, basierend auf der sehr spezifischen Art und Weise, wie Kinder in Stufen lernen und der Wiederverwendung Dinge vorziehen." „Dass dies in einer sehr einfachen Version der Technologie demonstriert wurde, die dem modernen Boom der KI-Tools zugrunde liegt, ist ebenfalls ermutigend und deutet darauf hin, dass sich die fundamentalen Prinzipien der Kognition im Schnittpunkt mehrerer Disziplinen befinden." Wichtige Fragen beantwortet: A: Weil diese Fehler nicht zufällig sind; sie sind vorhersagbare Anzeichen eines Gehirns, das nach Ordnung sucht.

Wenn ein Kind eine Regel übergeneralisiert, zum Beispiel annimmt, dass ein Pinguin fliegen kann, weil er Flügel hat, nutzt es einen strukturierten Abkürzungsmechanismus.

Technik und Auswirkungen

Über Generationen hinweg, wenn Eltern Sprache an Kinder weitergeben, werden die unübersichtlichen, unstrukturierten und schwierigen Aspekte einer Sprache vergessen, während die einfachen, regelbasierten Teile bewahrt und wiederverwendet werden. A: Es kommt auf die Verarbeitungstiefe und Schichten an.

Die Forscher an der Wits-Universität stellten fest, dass flache Netzwerke mit sehr wenigen Schichten völlig blind für die versteckten Regelmäßigkeiten komplexer Sprache sind, was dazu führt, dass sie bei der Weitergabe strukturierter Informationen versagen.

Tiefe Netzwerke, die die Fähigkeit eines Kindes widerspiegeln, die Welt hierarchisch zu lernen, benötigen mehrere Schichten der Tiefe, um linguistische Strukturen erfolgreich aufzunehmen, zu organisieren und weiterzugeben.

Technik und Auswirkungen

A: Dies beweist, dass die grundlegenden Prinzipien der menschlichen Kognition genau dieselben Kräfte sind, die moderne künstliche Intelligenz antreiben. Der moderne Boom der generativen KI-Tools stützt sich maßgeblich auf enorme Rechenleistung und mehrschichtige Tiefe, um seine bahnbrechenden Fähigkeiten zu erreichen.

Diese Studie zeigt, dass selbst eine sehr einfache, tiefgreifende lineare Variante dieser Technologie die exakte Weise nachbildet, in der sich menschliche Sprache entwickelt, um lernbar zu werden. Redaktionelle Anmerkungen: Dieser Artikel wurde News bearbeitet. Zusätzlicher Kontext wurde ügt.

Informationen zu dieser Forschungsarbeit über KI und Sprachlernen: Autor: Shirona Patel Quelle: University of the Witwatersrand Kontakt: Shirona Patel – University of the Witwatersrand Bild: Das Bild ist Neuroscience News zuzuordnen.

Ursprüngliche Forschung: Open Access.

Ursprüngliche Forschung: Open Access. „Compositionality and systematicity emerge from iterated learning in deep linear networks", Richard Klein, Benjamin Rosman und Andrew M. Saxe.

PNAS DOI:10.1073/pnas.2509739123 Komposition und Systematik entstehen durch iteriertes Lernen in tiefen linearen Netzwerken Der Mensch besitzt eine bemerkenswerte Fähigkeit zur systematischen Verallgemeinerung – er schließt über neue Situationen ab, indem er Aspekte früherer Erfahrungen kombiniert.

Die Sprache bietet ein zentrales Beispiel für diese Fähigkeit, und das moderne maschinelle Lernen hat erhalten. Ein jüngeres Beispiel hierfür ist das iterierte Lernen, ein Verfahren, bei dem Generationen üherer Lerner lernen.

Was die Studie zeigt

Das Ergebnis ist eine Verfeinerung der „Sprache" des Netzwerks oder seiner Ausgabebezeichnungen für gegebene Eingaben hin zu einer kompositionalen Struktur. In dieser Arbeit untersuchen wir theoretisch die Entstehung einer kompositionalen Sprache sowie die Fähigkeit einfacher neuronaler Netze, diese Komposition zur systematischen Verallgemeinerung zu nutzen.

Wir bauen auf frühere theoretische Arbeiten zu linearen Netzwerken auf, die systematische Verallgemeinerung mathematisch definieren, indem wir a) die Analyse Netzwerken auf das iterierte Lernverfahren anwenden, indem wir exakte Lerndynamiken über Generationen ableiten, und b) die Definition, um die Vorteile und Grenzen des iterierten Lernens zu verstehen.

Wir zeigen, dass iteriertes Lernen die systematische Verallgemeinerung gegenüber Standard-Trainingsparadigmen fördert, indem es kompositionelle Substrukturen in den Ausgabelabeln aufdeckt.

Einordnung fuer Autofahrer

Unsere Ergebnisse bestätigen eine lang bestehende Vermutung: Dass mehrere Generationen des iterierten Lernens erforderlich sind, damit eine kompositionelle Struktur entsteht, die ein einzelnes Netzwerk einer Generation mit optimalem Early Stopping übertreffen kann.

Allerdings muss das Netzwerk auf einem extrem großen Datensatz trainiert werden, um Eingaben systematisch zu verarbeiten und Merkmale zu ignorieren, die sich nicht verallgemeinern lassen. Daher definieren wir „schwache systematische Verallgemeinerung", um diese aus der Skalierung emergierende Systematik zu erklären.