Stroop-Test enthüllt systemische Schwäche von KI-Modellen

Einordnung fuer Autofahrer

Dabei werden Wörter für Farben in entsprechend gefärbter Tinte gedruckt, und die Probanden sollen die Tintenfärbung jedes Wortes benennen, während sie dessen Bedeutung ignorieren. Der Test wird klinisch eingesetzt, um exekutive Kontrolle zu bewerten, insbesondere die Fähigkeit einer Person, eine automatische Reaktion zu unterdrücken.

Obwohl Menschen im Allgemeinen lnger brauchen, um bei unpassenden Wort-Farbkombinationen korrekt zu antworten als bei passenden, knnen sie selbst bei langen Wortlisten dennoch stabil und mit hoher Genauigkeit arbeiten. Die Autoren stellten fest, dass LLMs bei einer Liste unpassenden Wort-Farbkombinationen gut abschneiden.

Mit zunehmender Lnge der Wortliste verschlechterte sich jedoch die KI-Leistung drastisch: GPT-4o sank von 91 % Genauigkeit bei fnf Wrtern auf 57 % bei zehn Wrtern und auf 15 % bei vierzig Wrtern. Claude 3.5 Sonnet blieb bis zu zwanzig Wrtern stabil, strzte aber bei vierzig Wrtern auf eine Genauigkeit von 24 %.

Technik und Auswirkungen

In Versuchen mit Wortlisten in sowohl passenden als auch unpassenden Farben war die Leistung der LLMs noch schlechter; bei den unpassenden Einheiten fiel sie auf nahezu 0 % Genauigkeit. hnliche Ergebnisse zeigten sich bei GPT-5, Claude Opus 4.1 und Gemini 2.5.

Die LLMs hatten Schwierigkeiten, sich auf die Benennung der Farbe zu konzentrieren, anstatt zur automatischen Wortlese zurckzugreifen. Wie beim Menschen sind LLMs besser darin trainiert, Wörter zu lesen, als Farben zu benennen; dennoch können Menschen das Lesen von Wörtern bei langen Listen unterdrücken und sich auf die aktuelle Aufgabe konzentrieren.

Nach Ansicht der Autoren deutet der Leistungseinbruch der LLMs auf grundlegende Grenzen im Vergleich zur biologischen Aufmerksamkeit hin. Zentrale Fragen beantwortet: A: Weil die Stroop-Aufgabe eine spezifische Fähigkeit testet, die als exekutive Kontrolle bezeichnet wird – die Fähigkeit, eine automatische Reaktion bewusst zu unterdrücken.

Technik und Auswirkungen

LLMs werden vor allem dazu trainiert, Text zu lesen und vorherzusagen.

Wenn sie dazu gezwungen werden, die Bedeutung eines Wortes zu ignorieren und lediglich dessen Schriftfarbe zu melden, überlagert ihre primäre Textlese-Training ihre Anweisungen, sobald die Länge der Datensequenz zunimmt, wodurch das Modell zu seiner automatischen Lesegewohnheit zurückkehrt. A: Sie stürzten auf einen nahezu vollständigen Misserfolg ab.

Während Modelle wie GPT-4o bei extrem kurzen Listen mit einer Genauigkeit von 91 % gut starteten, sank ihre Genauigkeit bei einer Erweiterung des Datensatzes auf lediglich 40 Wörter auf ein gescheitertes Niveau von 15 %.

Was die Studie zeigt

Wenn Forscher die neuesten Plattformen, darunter GPT-5, Claude Opus 4.1 und Gemini 2.5, mit gemischten Listen aus passenden und nicht passenden Wörtern testeten, brachen die Systeme bei den nicht passenden Einheiten auf eine Genauigkeit 0 % ein.

A: Dies zeigt, dass die auf Transformer basierende maschinelle Aufmerksamkeit im Vergleich zu biologischen Gehirnen eine grundlegende, strukturelle Limitierung aufweist.

Während sowohl Menschen als auch KI natürlicherweise besser darin sind, Text zu lesen als Farben zu benennen, können menschliche Gehirnen eine top-down-Kontrolle aufrechterhalten, um automatische Leseschleifen über riesige Datenströme hinweg zu unterdrücken.

Technik und Auswirkungen

Sprachmodelle (LLMs) verfügen vollständig über diese nachhaltige top-down-Fokussierung nicht und beweisen damit, dass synthetische Aufmerksamkeit Schwierigkeiten hat, ihren eigenen Trainingsverzerrungen bei der Verarbeitung komplexer Datenarrays zu widerstehen. Redaktionelle Hinweise: Dieser Artikel wurde News bearbeitet.

Zusätzliche Kontextinformationen wurden ügt. Über diese Nachrichten zur KI-Forschung zur exekutiven Kontrolle Autor: Jin Fan Quelle: PNAS Nexus Kontakt: Jin Fan – PNAS Nexus Bild: Das Bild wird Neuroscience News zugeschrieben Originale Forschung: Zugangsbeschränkt. „Defizitäre exekutive Kontrolle in der Transformer-Aufmerksamkeit", Hongbin Wang und Jin Fan.

PNAS Nexus DOI: 10.1093/pnasnexus/pgag149 Defizitäre exekutive Kontrolle in der Transformer-Aufmerksamkeit Obwohl Transformer in großen Sprachmodellen (LLMs) einen Selbst-Aufmerksamkeitsmechanismus effektiv umsetzen, der die Verarbeitung natürlicher Sprache revolutioniert hat, fehlt ihnen eine explizite Architektur für die exekutive Kontrolle der Aufmerksamkeit, wie sie beim Menschen vorliegt.

Einordnung fuer Autofahrer

Diese ist entscheidend, um Konflikte aufzulösen und relevante Informationen in Anwesenheit konkurrierender Berechnungen auszuwählen, und bildet eine Grundlage für adaptives Verhalten.

Um die Auswirkungen dieses Mangels in LLMs zu untersuchen, haben wir die klassische Farbstroop-Aufnahme eingesetzt, die weithin als Goldstandard gilt, um die exekutive Kontrolle der Aufmerksamkeit in diesen Modellen zu testen.

Unsere Ergebnisse zeigten einen typischen Konflikt-Effekt der Unterperformance hinsichtlich der Genauigkeit in der inkongruenten Bedingung (z. B. Benennung der Farbe des Wortes ROT in Blau) im Vergleich zur kongruenten Bedingung (z. B. Benennung der Farbe des Wortes ROT in Rot) bei kurzen Wortlisten, was mit der menschlichen Leistung übereinstimmt.

Was die Studie zeigt

Allerdings verschlechterte sich die Leistung in der inkongruenten Bedingung mit zunehmender Länge der Wortlisten bis hin zu einem nahezu vollständigen Leistungskollaps, während die Genauigkeit in der kongruenten Bedingung weiterhin exzellent blieb und das Wortlesen (z. B.

Lesen des Wortes ROT [in Rot] oder ROT [in Blau], wobei die Farbe ignoriert wird) nahezu perfekt war. Diese Befunde zeigen, dass Transformer-Aufmerksamkeitsmechanismen in ihrer Fähigkeit zur Konfliktlösung über längere Kontexte hinweg grundlegend begrenzt sind und eine adaptive Hochregulierung der Kontrolle unter steigender Interferenz nicht leisten können.

Wir schlagen vor, dass die Integration, die denen der biologischen Aufmerksamkeit ähneln, für die Erreichung einer künstlichen allgemeinen Intelligenz entscheidend ist.