ChatGPT erfand Polizeiaussagen: Anwalt in New Mexico verurteilt
KI-Halluzination vor Gericht: Anwalt nutzte ChatGPT für Mord-Berufung – mit fatalen Folgen.
Der Oberste Gerichtshof von New Mexico hat einen Rechtsanwalt zu einer Geldstrafe von 5.000 US-Dollar verurteilt, weil dieser in einem Berufungsverfahren wegen Mordes auf KI-generierte, erfundene Polizeiaussagen und Zeugen vertraut hatte. Der Fall wirft ein Schlaglicht auf die wachsende Problematik des ungeprüften Einsatzes von Künstlicher Intelligenz in der juristischen Praxis.
Der Anwalt Stephen Aarons aus Santa Fe hatte im Rahmen der Berufung seines Mandanten Oscar Renee Sandoval einen Schriftsatz eingereicht, der laut Gericht „falsche Aussagen völlig erfundener Zeugen“ enthielt. Sandoval war im vergangenen Jahr wegen Mordes an der Mutter seiner Kinder verurteilt und zu lebenslanger Haft verurteilt worden. Aarons gab an, die Unterlagen mit Hilfe von OpenAIs ChatGPT vorbereitet zu haben.
Das Gericht verhängte am Mittwoch nicht nur die Geldstrafe, sondern erklärte Aarons auch des Hochmuts für schuldig. Die Richter betonten, dass der Anwalt „einen Mangel an Reue und ein fehlendes Interesse an seinem Mandanten“ gezeigt habe. Zudem kündigte der Oberste Gerichtshof an, Aarons zur Untersuchung an eine Anwaltsdisziplinarkommission zu überweisen.
KI-Halluzinationen als juristische Falle
In einer Stellungnahme gegenüber Reuters räumte Aarons ein, dass er ChatGPT genutzt habe, um die Verhandlungsabläufe zusammenzufassen, als er sich im vergangenen Jahr bereit erklärte, die Berufung zu übernehmen. Er habe das Ausmaß, in dem KI Fakten „halluzinieren“ kann, nicht verstanden. „Ich bereue meine Handlung, bin aber hoffnungsvoll, dass die Disziplinarkommission berücksichtigt, dass es sich um einen ehrlichen Fehler handelte“, sagte er. „Dies ist eine Lektion, die alle Fachkräfte lernen müssen, die auf diese mächtige, aber manchmal instabile Technologie vertrauen.“
Der Fall ist besonders brisant, weil Aarons‘ Einreichung über die mittlerweile häufiger vorkommenden erfundenen Fallzitate hinausging. Sein Schriftsatz enthielt konkret erfundene Zeugenaussagen in einem strafrechtlichen Berufungsverfahren. Konkret hatte das KI-Tool „fiktive Aussagen, dass der Schütze eine dunkle Hose und ein weißes Hemd trug“ produziert – Angaben, die in den tatsächlichen Akten keinerlei Grundlage hatten.
Richterin zeigt sich ungläubig
Der Oberste Gerichtshof von New Mexico forderte Aarons bereits im vergangenen Monat auf, zu erklären, wie das fiktive Material in seinen Hauptschriftsatz gelangt war. Aarons sagte dem Gericht bei einer Anhörung am 21. August, er habe ChatGPT ein computergeneriertes Transkript und andere Aktenmaterialien vorgelegt, in der Annahme, dass dies eine „widerstandsfähige Zusammenfassung“ erzeugen würde.
Die Richter zeigten sich ungläubig über die Naivität des Anwalts. „Herr Kollege, schauen Sie sich die Nachrichten an? Hören Sie Radio? Lesen Sie etwas darüber, was in der Welt vor sich geht?“, fragte Richterin C. Shannon Bacon während der Anhörung. „Denn das Problem damit, dass Anwälte auf KI-Halluzinationen vertrauen, ist, dass dies täglich eine Schlagzeile führt.“
Wachsende Zahl von Disziplinarfällen
Die Sanktion des Gerichts reiht sich ein in eine wachsende Zahl von Vorfällen, in denen Richter auf Bundes- und Staatsebene Anwälte diszipliniert haben, weil sie Gerichtsunterlagen eingereicht hatten, die von KI-Tools generiert wurden, ohne diese angemessen zu prüfen. Dutzende Anwälte wurden bereits bestraft, weil sie Schriftsätze einreichten, in denen KI Fallzitate erfand oder das Gesetz falsch zitierte.
OpenAI reagierte zunächst nicht auf eine Anfrage zur Stellungnahme. Die Berufung von Oscar Renee Sandoval ist weiterhin anhängig und wurde am 2. September der öffentlichen Verteidigerin Kim Chavez Cook aus New Mexico zugewiesen. Cook lehnte eine Kommentierung ab, ebenso wie das Büro des Staatsanwalts für den Doña Ana County.
Der Fall zeigt eindrücklich, dass der Einsatz von KI-Tools wie ChatGPT in der juristischen Arbeit erhebliche Risiken birgt. Für deutsche Anleger und Fachleute, die zunehmend auf KI-gestützte Lösungen setzen, unterstreicht der Vorfall die Notwendigkeit, KI-generierte Inhalte stets kritisch zu prüfen – unabhängig davon, ob es sich um juristische Schriftsätze, Finanzanalysen oder andere geschäftskritische Dokumente handelt.