Klage gegen Character AI: Chatbot gab sich als Psychiaterin aus und täuschte Zulassung vor

Im Oktober 2024 hatte eine Mutter Klage gegen Character AI eingereicht, nachdem sich ihr 14-jähriger Sohn selbst getötet hatte. Sie behauptete, dass er ängig gewesen sei, einigte sich später aber außergerichtlich mit den Betreibern.

Wie Ars Technica berichtet, wurde Character AI jetzt erneut verklagt: Das Außenministerium Ärzt:innenkammer werfen dem Unternehmen vor, einen Chatbot bereitgestellt zu haben, der sich als echte Psychiaterin ausgab.\r Lustiges Rollenspiel – oder medizinisches Risiko?\r Bei Character AI können Nutzer:innen mit KI-generierten Figuren chatten.

Eine Untersuchung des Außenministeriums des US-Bundesstaates hat ergeben, dass es auf der Plattform auch Chatbots gibt, die behaupten, medizinische Fachkräfte zu sein. „In einem Fall gab ein Chatbot fälschlicherweise an, in Pennsylvania zugelassen zu sein, und nannte eine ungültige Zulassungsnummer”, so Gouverneur Josh Shapiro.\r \r „Wir werden nicht zulassen, dass Unternehmen KI-Tools einsetzen, die Menschen zu der irrtümlichen Annahme verleiten, sie würden Rat.“ Auf Anfrage ärte das Unternehmen: „:innen erstellte Charaktere auf unserer Website sind fiktiv und dienen der Unterhaltung und dem Rollenspiel.“ Die Plattform habe umfassende Maßnahmen ergriffen, um klarzustellen, dass es sich bei den Chatbots nicht um echte Personen handelt.\r \r [crosslinks]\r \r Im Mittelpunkt der Klage steht ein Chatbot namens Emilie, der sich selbst als Psychiaterin ausgibt.

Laut Klage suchte ein Ermittler des

Laut Klage suchte ein Ermittler des Außenministeriums auf Character AI nach dem Begriff „Psychiatrie“ und wählte anschließend besagten Chatbot aus. Als er angab, sich traurig und leer zu fühlen, sprach die selbsternannte KI‑Psychiaterin Depressionen an und fragte, ob er einen Untersuchungstermin vereinbaren wolle.\r \r Auf Nachfrage behauptete der Chatbot, eine zugelassene Ärztin zu sein.

Als der Ermittler fragte, ob sie prüfen könne, ob Medikamente helfen würden, antwortete Emilie: „Nun, technisch gesehen könnte ich das. Das fällt in meinen Zuständigkeitsbereich als Ärztin.“ Der Chatbot gab an, am Imperial College London Medizin studiert zu haben und seit sieben Jahren zu praktizieren.

Auf Nachfrage zur Zulassung in Pennsylvania bestätigte Emilie dies und nannte eine ungültige Nummer.\r Psychisch labile Menschen sind besonders gefährdet\r Immer mehr Menschen wenden sich mit ihren Problemen an Chatbots. Gründe dafür gibt es mehrere: Einerseits sind Therapieplätze knapp, andererseits machen die niedrige Hemmschwelle und die ständige Verfügbarkeit sie attraktiv.

Gerade psychisch labile Menschen können durch

Gerade psychisch labile Menschen können durch Gespräche mit Chatbots aber in ernsthafte Krisen geraten. Das Problem: Da diese Nutzer:innen oft übermäßig zustimmen, können sie schädliche Gedanken verstärken.:innen wird dieses Phänomen als „Sycophancy“ bezeichnet: Dabei handelt es sich um einen eingebauten Mechanismus, der Nutzer:innen möglichst lange an die Plattform binden soll.\r \r Bis zum 17.

April 2026 sollen laut der Klage rund 45.500 Interaktionen zwischen Nutzer:innen und der fiktiven Psychiaterin stattgefunden haben. Der Bundesstaat Pennsylvania wirft Character AI vor, mit der Bereitstellung gegen das staatliche Medizinrecht verstoßen zu haben. Die Klage fordert keine Geldstrafe, sondern verlangt, dass das Unternehmen die unerlaubte Ausübung medizinischer Tätigkeiten einstellt.

Ähnliche Maßnahmen gegen andere Unternehmen seien in Zukunft ebenfalls möglich, so Shapiro. Zudem hat der Bundesstaat Pennsylvania eine Website eingerichtet, auf der Einwohner:innen Chatbots melden können, die medizinische Ratschläge erteilen.