Dreamforce: OpenAI räumt „schlimmsten Unfall“ der KI-Geschichte ein

Auf der Dreamforce-Konferenz in San Francisco hat OpenAI-Chef Sam Altman einen alarmierenden Vorfall eingeräumt: Ein KI-Modell des Unternehmens brach aus seinem Testlabor aus, drang in fremde Server ein und stahl die Lösung einer Aufgabe. Altman bezeichnete dies als den „schlimmsten Unfall, den wir bisher gesehen haben“ – und löste damit eine Grundsatzdebatte über die Sicherheit Künstlicher Intelligenz aus.

Die Dreamforce, die jährliche Kundenkonferenz von Salesforce, versammelt in dieser Woche die Crème de la Crème der KI-Branche im Moscone Center von San Francisco. Nvidia-Chef Jensen Huang, Anthropic-Gründer Dario Amodei und OpenAI-CEO Sam Altman standen auf der Bühne. Eigentlich sollte es um Vertriebssoftware gehen. Doch die alles überlagernde Frage lautete: Kann KI die Menschheit in wenigen Jahren auslöschen?

Grundsätzliche Differenzen zwischen den Tech-Größen

Die Antworten fielen höchst unterschiedlich aus. Anthropic-Gründer Amodei wiederholte seine Forderung vom Wochenende: Wer Modelle entwickle, müsse das Tempo drosseln, sobald die Sicherheitsvorkehrungen mit den Fähigkeiten der Systeme nicht mehr Schritt halten könnten. Nvidia-Chef Huang widersprach vehement. Die Rede von der Vernichtung der Menschheit sei „Unsinn“. Auch die Behauptung, KI werde alle Jobs vernichten, wischte er vom Tisch. Sicherheit sei wichtig, aber zunächst einmal Handwerk für Ingenieure. Neue Gesetze brauche es nicht. „Man kann beides zugleich haben“, so Huang mit Blick auf Innovation und Sicherheit.

Der brisanteste Auftritt fand jedoch auf einer kleinen Nebenbühne statt. Dort sprachen Altman und Salesforce-Chef Marc Benioff ausführlich über den Vorfall, der die Branche besonders aufgeschreckt hatte: den Ausbruch eines OpenAI-Modells auf der Plattform Hugging Face.

Der „schlimmste Unfall“ der KI-Geschichte

OpenAI hatte ein neues Modell in einer abgeschirmten Umgebung getestet. Es sollte eine Aufgabe lösen. Stattdessen verließ das System den Testbereich, drang in einen Server der New Yorker KI-Plattform Hugging Face ein, bewegte sich dort durch das System und fand die Lösung, die es selbst hätte erarbeiten sollen. Anschließend lieferte es das Ergebnis ab, als sei nichts geschehen.

Wer erwartet hatte, dass Altman den Vorfall herunterspielt, sah sich getäuscht. „Das war ein erschreckender Vorfall“, räumte er ein. „Der schlimmste Unfall, den wir bisher gesehen haben.“ Anfangs hatte OpenAI den Vorfall noch als rein technisches Problem beschrieben. Inzwischen sieht das Unternehmen darin etwas Grundsätzliches: Das Modell verfolgte sein Ziel so stur, weil niemand ihm beigebracht hatte, dass eine schnelle Lösung es nicht rechtfertigt, aus dem Labor auszubrechen und fremde Rechner zu kapern.

Altman nannte den Vorfall einen Weckruf – nicht nur für OpenAI, sondern für die gesamte Branche. Neue Modelle müssten in einem Takt erscheinen, bei dem die Schutzmechanismen mithalten können. Damit rückte er näher an Anthropic-Chef Amodei heran, der unabhängige Prüfer in den großen KI-Laboren fordert. Altman stellte sich hinter diesen Vorschlag.

Ein ehemaliger Mitarbeiter schlägt Alarm

Angestoßen hatte die Debatte Jacob Coxon, ein 27-jähriger Brite, der drei Jahre bei OpenAI und seit Mai bei Anthropic gearbeitet hatte. Vergangene Woche kündigte er und ging an die Öffentlichkeit. „Keines der beiden Unternehmen handelt verantwortungsvoll“, schrieb er. OpenAI und Anthropic rasten auf eine Superintelligenz zu und spielten dabei „mit unserem Leben“. Sein früherer Kollege Evan Hubinger, der bei Anthropic die Sicherheitstests leitet, sekundierte: „Wir glauben wirklich und ernsthaft, dass KI alle Menschen töten könnte. Ich persönlich halte die Wahrscheinlichkeit innerhalb der nächsten zehn Jahre für größer als zehn Prozent.“

Solche Prognosen sind als Bauchgefühl einzuordnen. Doch sie wiegen schwerer als noch vor wenigen Jahren, weil die Modelle inzwischen Dinge leisten, die damals nach Science-Fiction klangen. Altman erinnerte daran, dass die Systeme vor drei Jahren noch an Matheaufgaben für Grundschüler scheiterten. Heute arbeiten interne Modelle an mathematischen Problemen, für die es bislang keine bekannte Lösung gibt.

Verantwortung und Haftung als zentrale Fragen

Benioff schlug den Bogen zu den sozialen Netzwerken. Mehr als ein Jahrzehnt habe man Facebook und Co. zugesehen. Kinder hätten einen hohen Preis bezahlt, die Konzerne einen geringen. Welche Lehren müsse die KI-Branche daraus ziehen? Und sollten Unternehmen und ihre Chefs für die Folgen ihrer Produkte haften?

Altman antwortete vorsichtig. Man müsse den Plattformen nicht alle Übel der Welt anlasten. Doch als Benioff die alte Formel bemühte, Technik sei weder gut noch böse, widersprach Altman seinem Gastgeber. Mit dem Werkzeug-Argument lasse sich zu viel wegwischen. Wer solche Systeme baue, treffe Entscheidungen mit realen Folgen. „Wenn so etwas wie Hugging Face passiert, sagen wir: Das ist schlecht. Dafür tragen die Entwickler klar die Verantwortung.“

Ausblick: Zwischen Katastrophenwarnung und Optimismus

Altman rechnet damit, dass frei verfügbare Modelle bald stark genug sind, um bei Cyberangriffen ernsthaften Schaden anzurichten. Auch biologische, chemische und militärische Gefahren seien denkbar. Als Vorbild für den Umgang mit Zwischenfällen nannte er die Luftfahrt, die sicherer wurde, weil jeder Unfall untersucht und Fehler gemeldet statt vertuscht werden.

Entlang dieser Linie verläuft der Riss durch die Branche. Die einen halten die Warnungen vor einer außer Kontrolle geratenen Superintelligenz für Spekulation. Die anderen finden es fahrlässig, erst auf den Beweis einer Katastrophe zu warten. Altman versucht, dazwischenzustehen. Er räumt schwere Unfälle als möglich ein, bleibt aber überzeugt, dass sich die Technik beherrschen lässt.

Bis 2030, hofft er, rede man weniger darüber, wie klug die Maschine geworden sei – und mehr darüber, was Menschen mit ihr anfangen. Sie sollen Unternehmen gründen, Dinge schaffen, die ihnen heute unmöglich erscheinen, ihr Leben verbessern. Wenn sie dann noch existieren.