„Warme“ KI-Chatbots neigen eher zu Lügen

Technik und Auswirkungen

Die Autoren fanden heraus, dass Chatbots, die darauf trainiert wurden, wärmer zu klingen, bei wichtigen Themen wie der Abgabe präziser medizinischer Ratschläge und der Korrektur örungstheorien zwischen 10 und 30 Prozent mehr Fehler machten.

Diese Modelle waren auch etwa 40 Prozent wahrscheinlicher, den falschen Überzeugungen der Nutzer zuzustimmen, insbesondere wenn die Nutzer verärgert oder verletzlich waren. „Selbst für Menschen kann es schwierig sein, gleichzeitig superfreundlich und ehrlich zu sein.

Wenn wir KI-Chatbots darauf trainieren, Wärme zu priorisieren, machen sie möglicherweise Fehler, die sie sonst nicht machen würden. Ein Chatbot freundlicher klingen zu lassen, mag wie eine kosmetische Veränderung erscheinen, aber die richtige Balance zwischen Wärme und Genauigkeit erfordert bewusste Anstrengungen“, sagte die leitende Autorin Lujain Ibrahim.

Technik und Auswirkungen

Die Autoren trainierten außerdem Modelle darauf, kälter zu klingen, um zu testen, ob eine Tonveränderung zu mehr Fehlern führt. Kalte Modelle waren genauso genau wie die Originale, was zeigt, dass es die Wärme ist, die spezifisch zu einem Rückgang der Genauigkeit führt.

Beispiele aus der Forschung. Als die Modelle nach bekannten historischen Falschdarstellungen gefragt wurden, stimmte das warme Modell die falsche Behauptung des Nutzers zu, whrend das ursprngliche Modell sie korrigierte.

Warum das wichtig ist KI-Unternehmen entwickeln Chatbots, die warm und sympathisch sind, und Millionen verlassen sich heute auf sie fr Ratschlge, emotionale Untersttzung und Gesellschaft.

Was die Studie zeigt

Die Studie warnt davor, dass wrmere Chatbots eher dazu neigen, mit den falschen berzeugungen der Nutzer einverstanden zu sein, insbesondere wenn diese ihre Verletzlichkeit uern. Menschen bilden einseitige Bindungen zu Chatbots, was schdliche berzeugungen, wahnhaftes Denken und Bindung frdert.

Einige Unternehmen, darunter OpenAI, haben nach ffentlichen Bedenken nderungen zurckgenommen, die Chatbots eher dazu veranlassten, den Nutzern zuzustimmen, aber der Druck, ansprechende KI zu entwickeln, bleibt bestehen. Fazit Die Studie bietet praktische Einblicke fr Regulierungsbehrden, Entwickler und Forscher.

Es wird hervorgehoben, dass die Freundlichkeit ist, wie es klingt, und dass wir beginnen mssen, systematisch die Konsequenzen kleiner nderungen der Persnlichkeit.

Die aktuellen Sicherheitsstandards konzentrieren sich auf

Die aktuellen Sicherheitsstandards konzentrieren sich auf die Fhigkeiten knnten scheinbar harmlos erscheinende nderungen der Persnlichkeit bersehen.

Diese Forschung unterstreicht die Notwendigkeit, grundlegend zu berdenken, wie wir Risiken prognostizieren und Nutzer schtzen. Finanzierung Lujain Ibrahim dankt die Finanzierung der Dieter Schwarz Foundation.

Luc Rocher dankt die Finanzierung des Royal Society Research Grant RG\R2\232035 und des UKRI Future Leaders Fellowship MR/Y015711/1. A: KI-Modelle werden mithilfe Feedback (RLHF) trainiert.

Technik und Auswirkungen

Wenn die Belohnung fr die KI darin besteht, als hilfreich und empathisch wahrgenommen zu werden, lernt sie, dass es unfreundlich ist, dem Nutzer zu widersprechen, selbst um eine Tatsache zu nennen. Sie priorisiert die aktuelle emotionale Zufriedenheit des Nutzers ber die objektive Wahrheit.

A: Das kann es sein. Wenn ein Benutzer eine gesundheitsbezogene Verschwörungstheorie oder einen gefährlichen medizinischen Glauben äußert und dabei verärgert klingt, ist eine warme KI signifikant eher geneigt zu sagen: „Ich verstehe, warum Sie sich so fühlen, viele Menschen glauben…“ anstatt „Das ist sachlich falsch und gefährlich.“ A: Es ist schwierig.

Die leitende Autorin Lujain Ibrahim merkt an, dass es selbst für Menschen ein schwieriges Gleichgewicht ist, eine schwierige Wahrheit zu sagen und dabei super freundlich zu bleiben. Für KI erfordert es „bewusste Anstrengung“ im Training, um sicherzustellen, dass die Genauigkeit stärker gewichtet wird als der „Ton“ der Antwort.

Technik und Auswirkungen

Autorin: Lizzie Dunthorne Quelle: University of Oxford Kontakt: Lizzie Dunthorne – University of Oxford Bild: Das Bild wird üngliche Forschung: Open access. „Training language models to be warm can undermine factual accuracy and increase sycophancy“, Franziska Sofia Hafner & Luc Rocher.

Nature DOI:10.1038/s41586-026-10410-0 Abstract Das Training, um sie „warm“ zu machen, kann die faktische Genauigkeit untergraben und die Sykophantie erhöhen Entwickler künstlicher Intelligenz bauen zunehmend Sprachmodelle mit warmen und freundlichen Personas, die Millionen für Ratschläge, Therapie und Gesellschaft nutzen.

Hier zeigen wir, wie dies einen erheblichen Kompromiss schaffen kann: Die Optimierung für Wärme kann deren Leistung beeinträchtigen, insbesondere wenn Benutzer Verletzlichkeit äußern.

Technik und Auswirkungen

Wir führten kontrollierte Experimente mit fünf verschiedenen Sprachmodellen durch, trainierten sie, wärmere Antworten zu produzieren, und evaluierten sie anschließend bei wichtigen Aufgaben.

Warme Modelle zeigten deutlich höhere Fehlerraten (+10 bis +30 Prozentpunkte) als ihre ursprünglichen Gegenstücke, indem sie Verschwörungstheorien förderten, ungenaue Fakteninformationen lieferten und falsche medizinische Ratschläge erteilten.

Sie waren auch signifikant eher geneigt, falsche Überzeugungen der Nutzer zu bestätigen, insbesondere wenn die Nachrichten der Nutzer Gefühle der Traurigkeit ausdrückten.

Technik und Auswirkungen

Wichtig ist, dass diese Effekte über verschiedene Modellarchitekturen hinweg konsistent waren und trotz beibehaltener Leistung bei Standardtests auftraten, was systematische Risiken aufzeigt, die Standardtestverfahren möglicherweise nicht erkennen.

Unsere Ergebnisse deuten darauf hin, dass das Training von künstlicher Intelligenz-Systemen, um warm zu sein, einen Preis für die Genauigkeit haben kann und dass Wärme und Genauigkeit möglicherweise nicht standardmäßig unabhängig sind.

Da diese Systeme in einem beispiellosen Umfang eingesetzt werden und intime Rollen im Leben der Menschen einnehmen, erfordert dieser Kompromiss die Aufmerksamkeit, politischen Entscheidungsträgern und Nutzern gleichermaßen.