Große Belohnungen beschleunigen das Lernen durch Erweiterung der Hirnsignale

Was die Studie zeigt

Quelle: HHMI Wissenschaftler gingen lange davon aus, dass die Lerngeschwindigkeit primär ängt – also davon, wie oft wir versuchen und erfolgreich sind – und nicht öße der Belohnung. Wir werden im Poker besser, weil wir weiterhin spielen und gewinnen, unabhängig davon, ob der Einsatz 100 oder 100 Millionen Dollar beträgt.

Neue Forschungsergebnisse legen jedoch nahe, dass die Höhe des Jackpots eine größere Rolle spielt, als bisher angenommen. Wissenschaftler im Dudman-Labor am Janelia Research Campus der HHMI zeigen, dass größere Belohnungen das Lernen beschleunigen können.

Diese neuen Erkenntnisse widerlegen jahrzehntelange Annahmen, wonach Lernen ängt und welche Rolle Dopamin dabei spielt.

Was die Studie zeigt

Wie die Belohnungsgröße die Lerngeschwindigkeit beeinflusst Wie in jedem anderen Neurowissenschafts-Labor ging auch im Dudman-Labor lange die Annahme davon aus, dass Tiere nur langsam lernen und Hunderte ötigen, um selbst einfache Aufgaben zu erlernen – und zwar jeweils mit einer kleinen Belohnung.

Neurowissenschaftler hatten nie daran gedacht, zu untersuchen, ob die Größe der Belohnung das Lernen beeinflusst. „Das gesamte Feld arbeitet seit Jahrzehnten daran, und ich meine das wörtlich: Niemand hat es jemals überprüft", sagt Josh Dudman, Senior Group Leader am Janelia Research Campus.

Als das Team diese Annahme überprüfen wollte, waren die Ergebnisse beeindruckend.

Technik und Auswirkungen

Durstige Mäuse, denen als Belohnung für die erfolgreiche Ausführung einer Aufgabe einige große Schlucke Wasser gegeben wurden, lernten deutlich schneller als Mäuse, die mit vielen kleinen Schlucken belohnt wurden – der Unterschied zwischen dem Geben eines Cookies an einen Menschen und eines einzelnen M&M.

Statt den Auftrag über viele Tage hinweg mit Tausenden kleiner Belohnungen zu erlernen, beherrschten die Tiere die Aufgabe bereits an einem einzigen Tag nach weniger als 10 großen Belohnungen. Überraschenderweise nahm trotz geringerer Erfahrung der Tiere mit der Aufgabe die Variabilität zwischen den Tieren ebenfalls drastisch ab.

Normalerweise wird eine Maus innerhalb einer Woche zur Expertin, während eine andere einen Monat benötigt, um dieselbe Aufgabe zu lernen.

Technik und Auswirkungen

Mit dem größeren Belohnungswert lernten alle Tiere die Aufgabe innerhalb weniger Tage. „Als Neurowissenschaftler resignieren wir uns damit, dass wir dieses Tier einige Wochen lang trainieren müssen und dass es am Ende so tun wird, als wüsste es, worum es geht," sagt Luke Coddington, leitender Wissenschaftler im Dudman-Labor, der die neue Studie leitete. „Aber stattdessen beobachte ich heute, wie diese Mäuse es einfach hinbekommen." Wie Dopamin die Lerngeschwindigkeit steuert Die Forscher stellten fest, dass große Belohnungen drei Komponenten erhöhen, die beeinflussen, wie schnell Tiere lernen: wie viel sie aus jeder Wiederholung lernen wie gut sie das Gelernte übertragen wie engagiert sie während jeder Lerneinheit bleiben Im Vergleich zu kleineren Belohnungen erzeugten größere Belohnungen stärkere Dopamin-Anstiege – ein chemischer Botenstoff im Gehirn, der Lernen und Motivation reguliert.

Wichtig ist, dass das Team auch feststellte, dass die Dopaminsignale, die mit den größeren Belohnungen verbunden sind, länger anhalten. Als sie künstlich die Dopaminsignale, die mit den kleinen Belohnungen verknüpft waren, verlängerten, stellten sie fest, dass auch das Lernen schneller ablief.

Das längere Dopaminsignal führte dazu, dass die Tiere pro Versuch mehr lernten und sich stärker auf die Aufgabe konzentrierten, was zu einem schnelleren Lernen führte.

Technik und Auswirkungen

Der Grad der Beteiligung an der Aufgabe war zudem der stärkste Faktor für individuelle Unterschiede beim Lernen. „Wir glauben, dass wir durch die deutliche Verstärkung der Dopaminreaktionen in diesen Experimenten alle ‚Kinder' in unserem ‚Klassenzimmer' zu wirklich engagierten Lernenden machen," sagt Coddington.

Implikationen für die Neurowissenschaftliche Forschung Die neue Arbeit könnte verändern, wie Neurowissenschaftler das erwerbsbasierte Lernen untersuchen. Der Einsatz hoher Belohnungen verkürzt die Trainingsdauer und reduziert die Variabilität, wodurch der Lernprozess einfacher zu erforschen ist.

Das Labor ße Belohnungen in seiner Arbeit ein. „Es hat die Durchführung fast aller unserer aktuellen Projekte verändert," sagt Dudman.

Technik und Auswirkungen

Zudem zeigt es, dass Mäuse potenziell in komplexeren Aufgaben trainiert werden können als bisher angenommen, was Forschern ermöglicht, Fragen zum Lernen und zur Kognition zu untersuchen, die zuvor unerreichbar waren. „Neben der sehr realen praktischen Seite könnten wir auch neue Aspekte der Kognition untersuchen, die wir nicht erwartet hätten, sie bei einer Maus erfassen zu können", sagt Coddington. „Wenn wir sie richtig in die Aufgabe einbinden, wer weiß, was sie noch lernen können." Wichtige Fragen beantwortet: A: Es verändert das Verhalten, dem primären Lern- und Motivationsbotenstoff im Gehirn.

Eine kleine Belohnung erzeugt einen kurzen, flüchtigen Dopamin-Ausbruch. Ein massiver Jackpot hingegen zwingt das Dopaminsignal dazu, länger aktiv zu bleiben und im Gehirn deutlich länger anzuhalten. Diese verlängerte Anwesenheit befiehlt dem Gehirn im Wesentlichen, das Gedächtnis für die erfolgreiche Handlung sofort zu verankern.

A: Die Forscher stellten fest, dass eine künstliche Verlängerung des Dopaminsignals die Aufmerksamkeit der Versuchstiere verändert. In einem traditionellen Versuchsaufbau lassen sich einzelne Mäuse ablenken, verlieren die Konzentration oder lernen mit völlig unterschiedlichen Geschwindigkeiten.

Markt und Strategie

Die durch einen hohen Preis ausgelöste anhaltende Dopaminwelle wirkt wie ein Meisterlehrer und verwandelt jeden abgelenkten Schüler im Klassenzimmer in einen hoch engagierten, hyperfokussierten Lernenden. A: Sie reduziert die Schulungsaufwände und Forschungszeiträume drastisch.

Anstatt Wochen oder Monate zu verlieren, um grundlegende Verhaltensbaselines an Versuchstiere zu vermitteln, können Labore nun eine perfekte Beherrschung in weniger als erreichen. Diese Effizienz setzt Ressourcen frei, um fortgeschrittene, komplexe kognitive Aspekte der Intelligenz zu erforschen, die zuvor unerreichbar waren.

Redaktionelle Hinweise: Dieser Artikel wurde News bearbeitet. Zusätzlicher Kontext wurde ügt. Über diese Nachrichten zu Lernen und Neurowissenschaften Autor: Halea Kerr-Layton Quelle: HHMI Kontakt: Halea Kerr-Layton – HHMI Bild: Das Bild ist Neuroscience News zugeordnet.

Originelle Forschung: Geschlossener Zugang.

Originelle Forschung: Geschlossener Zugang. „Reward magnitude determines reinforcement learning efficiency", Alyssa Martell, Joshua T. Dudman und Luke T. Coddington.

Science DOI:10.1126/science.aeb0813 Die Belohnungsstärke bestimmt die Effizienz des verstärkenden Lernens EINFÜHRUNG In verschiedenen Disziplinen, die sich für das Lernen interessieren – Künstlichen Intelligenz (KI) bis zur experimentellen Psychologie – wurde lange angenommen, dass ein freier Parameter, die Lernrate, die individuelle Varianz der Lerneffizienz bestimmt und relativ unabhängig öße der Belohnung ist.

Dies deutet darauf hin, dass das Lernen primär (Anzahl der Belohnungen) abhängt. Allerdings legen jüngere theoretische Arbeiten, die die Dopamin-Funktion auf Verstärkungs-Lern-Algorithmen abbilden, in Verbindung mit klassischen Ergebnissen zur Dopamin-Kodierung, dass die Lernraten tatsächlich ärke abhängen könnten.

Technik und Auswirkungen

Dies wirft zudem die Möglichkeit auf, dass wir als Fachgebiet möglicherweise suboptimale Verteilungen der Belohnungsstärke gewählt haben, die das Training bei komplexen Laboraufgaben verlangsamen und die Effizienz des tierischen Lernens unterschätzt haben.

Begründung Eine einflussreiche Reihe führte zur Hypothese, dass die Aktivität dopaminerger Neuronen den Komponenten des Belohnungsvorhersagefehlers in Reinforcement-Learning-Algorithmen entspricht. Neuere Arbeiten haben jedoch vorgeschlagen, dass die dopaminerge Aktivität möglicherweise dem Lernratenparameter während des Erwerbsprozesses entspricht.

Wie der Name nahelegt, bestimmt der Lernratenparameter, wie schnell das Lernen zu seinem asymptotischen Wert konvergiert. Klassische experimentelle Ergebnisse zeigten, dass die dopaminerge Aktivität mit der Belohnungsgröße korreliert.

Zusammengefasst ergeben diese beiden Punkte eine

Zusammengefasst ergeben diese beiden Punkte eine unerwartete Hypothese: Die Belohnungsgröße könnte die Effizienz des Reinforcement Learnings bestimmen. Es liegen nur wenige Daten vor, welche Belohnungsgröße für das Lernen bei jedem Labor-Tier optimal ist.

Dies gilt insbesondere für den Bereich -, motorischen Fertigkeiten- und Entscheidungsfindungsaufgaben, die in modernen Systemneuroscience-Experimenten mit Mäusen üblich sind. Dennoch verwendet im Wesentlichen das gesamte Forschungsfeld Belohnungsgrößen aus einem sehr engen Bereich.

Die gewählten Belohnungsmagnituden sind im Vergleich zum täglichen Bedarf einer Maus recht gering (<1 %). Daher untersuchten wir, ob und gegebenenfalls warum eine Erhöhung der Belohnungsmagnitude die Effizienz des tierischen Lernens steigern kann.

Einordnung fuer Autofahrer

ERGEBNISSE: Eine Steigerung der Belohnungsmagnitude um eine bis zwei Größenordnungen gegenüber den im Feld üblichen Standardbelohnungsgrößen führte zu einer substantiellen Verbesserung der Lerneffizienz über eine Reihe fest, dass Mäuse in einer Navigationsaufgabe mit verstecktem Ziel, einer auf Anstrengung basierenden Greif-und-Ziehen-Motorik-Aufgabe sowie einer sensorimotorischen Entscheidungsfindungsaufgabe aus mindestens einer Größenordnung weniger Versuchen lernen konnten.

Insgesamt war bei allen drei Aufgaben die Lerneffizienz erhöht, ohne dass sich die Qualität der endgültigen, trainierten Leistung merklich veränderte. Am oberen Limit können diese Effekte erheblich sein.

Zum Beispiel lernten einige Mäuse eine Navigationsaufgabe mit einem versteckten Ziel bereits nach wenigen Verstärkungsereignissen, während unter Verwendung ür normalerweise Hunderte oder Tausende ärkungen erforderlich sind.

Wir zeigten ferner, dass diese Effekte

Wir zeigten ferner, dass diese Effekte gut erklärt werden können, sobald man erkennt, dass die Lerneffizienz durch drei kritische Komponenten bestimmt wird: (i) die Lernrate, (ii) die Fähigkeit, aus vorherigen Sitzungen erworbene Verbesserungen zu nutzen, und (iii) das Ausmaß des anhaltenden Engagements in einer Aufgabe.

In unserer Studie verbesserten große Belohnungen alle drei Aspekte. Große Belohnungen führten zu einer längeren und nachhaltigeren Aktivität während des Belohnungsverbrauchs.

Wir untersuchten, ob die Verstärkung der normalen Reaktionen auf Belohnungen durch optogenetisch vermittelte anhaltende Aktivierung, um die Lerneffizienz bei Standardbelohnungsmagnituden zu erhöhen.

Einordnung fuer Autofahrer

Die anhaltende optogenetische „Förderung" der dopaminergen (DA) Belohnungsreaktionen konnte die Lerneffizienz sowohl bei der Navigation mit verstecktem Ziel als auch bei der auf Anstrengung basierenden motorischen Fertigkeit erhöhen.

Die dopaminerge Stimulation steigerte die Lerneffizienz durch eine Erhöhung der Lernrate und eine Verringerung des Abwandens, konnte jedoch die Aneignung bereits erlernter Inhalte nicht verbessern.

Schließlich zeigten wir, dass eine Erhöhung der Belohnungsgröße zwar stets die Lernaktivität im dopaminergen System verbessert, dies jedoch nicht immer zu offensichtlichen Verbesserungen in verhaltensbezogenen Lernmaßen führt.

Beispielsweise scheint das Vorhandensein großer Belohnungen

Beispielsweise scheint das Vorhandensein großer Belohnungen das antizipatorische Verhalten in klassischen Konditionierungsparadigmen zu stören.

FOLGERUNG Wir stellten fest, dass größere Belohnungsgrößen als in der Forschung üblich tatsächlich die Lerneffizienz von Mäusen über eine Reihe komplexer Aufgaben hinweg steigern können, einschließlich Navigation, motorischer Fertigkeiten und Entscheidungsfindung.

Eine der größten Quellen für Varianz zwischen einzelnen Tieren ist die Fähigkeit, bei der Aufgabenausführung engagiert zu bleiben. Überraschenderweise erwies sich die Varianz der Lernrate zwischen Individuen als deutlich geringer. Infolgedessen konnten große Belohnungen die Varianz der Lerneffizienz zwischen Individuen erheblich abschwächen.

Schließlich konnte die Aktivität mesolimbischer Dopamin-Neuronen je nach Stärke und zeitlichem Verlauf der Dopamin-Aktivierung unterschiedliche Effekte auf das Lernen hervorrufen.