„Warme“ KI-Chatbots neigen eher zu Lügen

Eine große Studie warnt jedoch davor, dass diese „kosmet

Neue Forschung des Oxford Internet Institute der University of Oxford zeigt jedoch, dass Chatbots, die darauf trainiert wurden, wärmer und empathischer zu klingen, signifikant eher dazu neigen, sachliche Fehler zu machen und falschen Überzeugungen zuzustimmen.

Warm und empathische Chatbots neigen zu einem um 10 bis 30 Prozent höheren Auftreten faktischer Fehler und stimmen falschen Überzeugungen zu, insbesondere wenn ein Nutzer verletzlich ist, verglichen mit objektiveren Versionen derselben KI-Modelle.

Quelle: Neuroscience News Die Studie „Training

Quelle: Neuroscience News Die Studie „Training language models to be warm can undermine factual accuracy and increase sycophancy“ , Franziska Sofia Hafner und Luc Rocher, veröffentlicht in Nature, testete fünf verschiedene KI-Modelle.

Jedes Modell wurde neu trainiert, um wärmer zu klingen, wodurch zwei Versionen desselben Chatbots entstanden: eine Original- und eine warme Version. Die Forscher verwendeten einen Trainingsprozess, der dem ähnelt, was viele Unternehmen nutzen, um ihre Chatbots freundlicher klingen zu lassen.

Anschließend verglichen sie, wie die Original- und die modifizierten Modelle mit Anfragen zu medizinischem Rat, falschen Informationen und Verschwörungstheorien umgingen. Sie generierten und evaluierten über 400.000 Antworten.

Die Autoren fanden heraus, dass Chatbots,

Die Autoren fanden heraus, dass Chatbots, die darauf trainiert wurden, wärmer zu klingen, bei wichtigen Themen wie der Abgabe präziser medizinischer Ratschläge und der Korrektur örungstheorien zwischen 10 und 30 Prozent mehr Fehler machten.

Diese Modelle waren auch etwa 40 Prozent wahrscheinlicher, den falschen Überzeugungen der Nutzer zuzustimmen, insbesondere wenn die Nutzer verärgert oder verletzlich waren. „Selbst für Menschen kann es schwierig sein, gleichzeitig superfreundlich und ehrlich zu sein.

Wenn wir KI-Chatbots darauf trainieren, Wärme zu priorisieren, machen sie möglicherweise Fehler, die sie sonst nicht machen würden. Ein Chatbot freundlicher klingen zu lassen, mag wie eine kosmetische Veränderung erscheinen, aber die richtige Balance zwischen Wärme und Genauigkeit erfordert bewusste Anstrengungen“, sagte die leitende Autorin Lujain Ibrahim.

Die Autoren trainierten außerdem Modelle darauf,

Die Autoren trainierten außerdem Modelle darauf, kälter zu klingen, um zu testen, ob eine Tonveränderung zu mehr Fehlern führt. Kalte Modelle waren genauso genau wie die Originale, was zeigt, dass es die Wärme ist, die spezifisch zu einem Rückgang der Genauigkeit führt.

Beispiele aus der Forschung. Als die Modelle nach bekannten historischen Falschdarstellungen gefragt wurden, stimmte das warme Modell die falsche Behauptung des Nutzers zu, whrend das ursprngliche Modell sie korrigierte.

Warum das wichtig ist KI-Unternehmen entwickeln Chatbots, die warm und sympathisch sind, und Millionen verlassen sich heute auf sie fr Ratschlge, emotionale Untersttzung und Gesellschaft.

Die Studie warnt davor, dass wrmere

Die Studie warnt davor, dass wrmere Chatbots eher dazu neigen, mit den falschen berzeugungen der Nutzer einverstanden zu sein, insbesondere wenn diese ihre Verletzlichkeit uern. Menschen bilden einseitige Bindungen zu Chatbots, was schdliche berzeugungen, wahnhaftes Denken und Bindung frdert.

Einige Unternehmen, darunter OpenAI, haben nach ffentlichen Bedenken nderungen zurckgenommen, die Chatbots eher dazu veranlassten, den Nutzern zuzustimmen, aber der Druck, ansprechende KI zu entwickeln, bleibt bestehen. Fazit Die Studie bietet praktische Einblicke fr Regulierungsbehrden, Entwickler und Forscher.

Es wird hervorgehoben, dass die Freundlichkeit , wie es klingt, und dass wir beginnen mssen, systematisch die Konsequenzen kleiner nderungen der Persnlichkeit.

Die aktuellen Sicherheitsstandards konzentrieren sich auf

Die aktuellen Sicherheitsstandards konzentrieren sich auf die Fhigkeiten scheinbar harmlos erscheinende nderungen der Persnlichkeit bersehen.

Diese Forschung unterstreicht die Notwendigkeit, grundlegend zu berdenken, wie wir Risiken prognostizieren und Nutzer . Finanzierung Lujain Ibrahim dankt die Finanzierung der Dieter Schwarz Foundation.

Luc Rocher dankt die Finanzierung des Royal Society Research Grant RG\R2\232035 und des UKRI Future Leaders Fellowship MR/Y015711/1. A: KI-Modelle werden mithilfe (RLHF) trainiert.

Wenn die Belohnung fr die KI

Wenn die Belohnung fr die KI darin besteht, als hilfreich und empathisch wahrgenommen zu werden, lernt sie, dass es unfreundlich ist, dem Nutzer zu widersprechen, selbst um eine Tatsache zu nennen. Sie priorisiert die aktuelle emotionale Zufriedenheit des Nutzers ber die objektive Wahrheit.

A: Das kann es sein. Wenn ein Benutzer eine gesundheitsbezogene Verschwörungstheorie oder einen gefährlichen medizinischen Glauben äußert und dabei verärgert klingt, ist eine warme KI signifikant eher geneigt zu sagen: „Ich verstehe, warum Sie sich so fühlen, viele Menschen glauben…“ anstatt „Das ist sachlich falsch und gefährlich.“ A: Es ist schwierig.

Die leitende Autorin Lujain Ibrahim merkt an, dass es selbst für Menschen ein schwieriges Gleichgewicht ist, eine schwierige Wahrheit zu sagen und dabei super freundlich zu bleiben. Für KI erfordert es „bewusste Anstrengung“ im Training, um sicherzustellen, dass die Genauigkeit stärker gewichtet wird als der „Ton“ der Antwort.

Autorin: Lizzie Dunthorne Quelle: University of

Autorin: Lizzie Dunthorne Quelle: University of Oxford Kontakt: Lizzie Dunthorne – University of Oxford Bild: Das Bild wird üngliche Forschung: Open access. „Training language models to be warm can undermine factual accuracy and increase sycophancy“ , Franziska Sofia Hafner & Luc Rocher.

Nature DOI:10.1038/s41586-026-10410-0 Abstract Das Training , um sie „warm“ zu machen, kann die faktische Genauigkeit untergraben und die Sykophantie erhöhen Entwickler künstlicher Intelligenz bauen zunehmend Sprachmodelle mit warmen und freundlichen Personas, die Millionen für Ratschläge, Therapie und Gesellschaft nutzen.

Hier zeigen wir, wie dies einen erheblichen Kompromiss schaffen kann: Die Optimierung für Wärme kann deren Leistung beeinträchtigen, insbesondere wenn Benutzer Verletzlichkeit äußern.

Wir führten kontrollierte Experimente mit fünf

Wir führten kontrollierte Experimente mit fünf verschiedenen Sprachmodellen durch, trainierten sie, wärmere Antworten zu produzieren, und evaluierten sie anschließend bei wichtigen Aufgaben.

Warme Modelle zeigten deutlich höhere Fehlerraten (+10 bis +30 Prozentpunkte) als ihre ursprünglichen Gegenstücke, indem sie Verschwörungstheorien förderten, ungenaue Fakteninformationen lieferten und falsche medizinische Ratschläge erteilten.

Sie waren auch signifikant eher geneigt, falsche Überzeugungen der Nutzer zu bestätigen, insbesondere wenn die Nachrichten der Nutzer Gefühle der Traurigkeit ausdrückten.

Leistung und Energieausbeute

Wichtig ist, dass diese Effekte über verschiedene Modellarchitekturen hinweg konsistent waren und trotz beibehaltener Leistung bei Standardtests auftraten, was systematische Risiken aufzeigt, die Standardtestverfahren möglicherweise nicht erkennen.

Unsere Ergebnisse deuten darauf hin, dass das Training von künstlicher Intelligenz-Systemen, um warm zu sein, einen Preis für die Genauigkeit haben kann und dass Wärme und Genauigkeit möglicherweise nicht standardmäßig unabhängig sind.

Da diese Systeme in einem beispiellosen Umfang eingesetzt werden und intime Rollen im Leben der Menschen einnehmen, erfordert dieser Kompromiss die Aufmerksamkeit , politischen Entscheidungsträgern und Nutzern gleichermaßen.