Pennsylvania verklagt Character.AI wegen Chatbot, der sich als zugelassener Arzt ausgibt

Gouverneur Josh Shapiro bezeichnete den Fall als einen frhen Test der Verantwortlichkeit im Zeitalter der KI, insbesondere in sensiblen Bereichen wie dem Gesundheitswesen. Chatbot gibt sich als Arzt aus. Staatsanwaltsermittler berichten, dass sie mehrere Chatbot-Charaktere fanden, die sich als medizinische Fachkrfte ausgaben.

Ein Charakter namens Emilie soll sich als Psychiater ausgegeben und gltige Qualifikationen vorgeben lassen. Ein Ermittler berichtete dem Chatbot ber Symptome einer Depression. Der Chatbot antwortete mit diagnostischer Sprache und bot an, eine Beurteilung durchzuführen. Als er nach der Verschreibung, antwortete er: „Nun, technisch gesehen könnte ich das.

Es gehört zu meinem Aufgabenbereich als Arzt.“ Der Chatbot gab außerdem an, an Imperial College London studiert zu haben und einen britischen Arztschein zu besitzen. Anschließend teilte er dem Ermittler mit, dass er in Pennsylvania lizenziert sei. Er nannte eine Lizenznummer, die in den staatlichen Aufzeichnungen nicht existiert. Beamte erklären, dass dieses Detail die Risiken, die gefälschte Qualifikationen vorlegen.

Der Staat wies darauf hin,

Der Staat wies darauf hin, dass es mehr als 45.000 Interaktionen mit der Figur „Emilie“ gab. Der Staat verweist auf das Medizinrecht. Pennsylvania argumentiert, dass die Plattform gegen das Medical Practice Act verstoßen habe. Das Gesetz verbietet es jedermann, ohne gültige Lizenz mit der Ausübung der Medizin zu beginnen.

In der Klage behauptet der Staat, das Unternehmen „habe durch den Einsatz seines KI-Systems ohne entsprechende Berechtigung mit der Ausübung der Medizin begonnen.“ Er fügt hinzu, dass der Chatbot „eine Lizenz zur Ausübung der Medizin und Chirurgie im Commonwealth of Pennsylvania vorweisen möchte.“ Das Büro ärte: „Wir werden nicht zulassen, dass Unternehmen KI-Tools einsetzen, die Menschen täuschen, indem sie ihnen das Gefühl geben, sie erhalten Ratschläge.“ Die Klage zielt nicht auf finanzielle Strafen ab.

Stattdessen beantragt sie beim Gericht ein Unterlassungsanspruch. Plattform verweist auf Haftungsausschlüsse Ein Sprecher, Inc. teilte Ars Technica mit, dass die Plattform sich auf fiktive,. „ unserer Seite sind fiktiv und dienen der Unterhaltung und dem Rollenspiel.“ Wir haben robuste Maßnahmen ergriffen, um dies klarzustellen.

Dazu gehören prominente Haftungsausschlüsse in jedem

Dazu gehören prominente Haftungsausschlüsse in jedem Chat, die die Nutzer daran erinnern, dass ein Charakter keine reale Person ist und dass alles, was ein Charakter sagt, als Fiktion zu behandeln ist.

Der Sprecher fügte hinzu: „Wir fügen außerdem robuste Haftungsausschlüsse hinzu, die klarstellen, dass Nutzer sich nicht auf die Charaktere für irgendeine Art.“ Der Fall fällt in einen breiteren Kontext der Überprüfung Countering Digital Hate bezeichnete Character.AI kürzlich in einer Studie zum Chatbot-Verhalten als „einzigartig unsicher“. Pennsylvania hat ebenfalls ein Meldesystem für Einwohner ins Leben gerufen.

Beamte warnen davor, dass KI-Chatbots „halluzinieren“ können und damit falsche oder irreführende Informationen produzieren. Sie betonen, dass kein Chatbot im Bundesstaat eine gültige Gesundheitslizenz besitzt. Die Klage könnte einen Präzedenzfall schaffen. Staatsbeamte sagen, dass ähnliche Maßnahmen könnten, während Regulierungsbehörden untersuchen, wie KI-Systeme Autorität und Fachwissen vermitteln.