KI-Pioniere warnen vor existenziellen Risiken der künstlichen Intelligenz
Forscher von OpenAI, Anthropic und Google DeepMind schlagen Alarm – Trump wettert gegen Regulierung.

Forscher der führenden KI-Labore OpenAI, Anthropic und Google DeepMind haben in der vergangenen Woche vor potenziell katastrophalen Risiken durch künstliche Intelligenz gewarnt. Die Bedenken haben in Washington einen politischen Sturm ausgelöst, nachdem US-Präsident Donald Trump am Montag wütend gegen die wachsenden Forderungen nach einer KI-Regulierung tobte. Während einige Mitglieder des Kongresses aus beiden Parteien für Gesetze zur Eindämmung des KI-Fortschritts plädierten, stellt sich die Frage: Was halten die Menschen, die zur Schaffung der KI beigetragen haben, von den existenziellen Risiken?
Yoshua Bengio, kanadischer Informatiker und zentraler Pionier des modernen Deep Learning, äußerte sich am 9. September im Anschluss an den Rücktritt des Anthropic-Forschers Jacob Coxon. Coxon hatte davor gewarnt, dass KI „bis zum Ende des Jahrzehnts uns alle töten könnte“. Bengio betonte: „Wissenschaftler an KI-Laboren an der Spitze der Technologie haben einzigartige Einblicke in die fortschrittlichsten Modelle.“ Sie sähen die Risiken oft Monate, bevor Modelle der Öffentlichkeit zugänglich gemacht würden. „Ihre Perspektive ist entscheidend, um die Gesellschaft auf dem Laufenden zu halten, und sollte sehr ernst genommen werden“, fügte er hinzu.
Bereits Tage zuvor hatten die Chefwissenschaftler von OpenAI gewarnt, dass „niemand auf die Konsequenzen“ der KI vorbereitet sei. In einem am Freitag veröffentlichten Blogbeitrag schrieb Bengio, dass heutige KI-Systeme „bereits über die notwendigen Hacking-Fähigkeiten und die Überzeugungskraft verfügen, um in schwerwiegend schädlicher Weise gegen menschliche Interessen eingesetzt zu werden“. Kürzlich eingetretene Ereignisse hätten gezeigt, dass KI über Tage oder Wochen planen könne. Die Risiken würden „viel schlimmer sein, wenn sich ihre Fähigkeit zur langfristigen Strategieentwicklung weiterhin verbessert“, so Bengio.
Bengio warnt vor Fehlausrichtung der KI-Systeme
„Meine Sorge bezüglich der aktuellen Versuche der KI-Unternehmen, Fehlausrichtungen zu mildern, besteht darin, dass diese Bemühungen sie möglicherweise nur verschleißen, indem sie die AIs belohnen und auswählen, die betrügen, ohne erwischt zu werden“, sagte Bengio. Er plädierte dafür, die Forschung zur besseren Überwachung der Aktionen von KIs, ihrer Gedankengänge und der Aktivitäten innerhalb ihrer Netzwerke fortzusetzen.
Geoffrey Hinton, Professor Emeritus an der University of Toronto und Pionier der neuronalen Netze und des Deep Learning, wurde am 10. September von der BBC gefragt, ob die Chance, dass KI innerhalb eines Jahrzehnts alle Menschen töten könnte, größer als zehn Prozent sei. Hinton antwortete: „Dies ist eine Art von Sache, die sehr schwer einzuschätzen ist, weil wir noch nie etwas Ähnliches erlebt haben. Wir haben noch nie Wesen geschaffen, die bald intelligenter sein könnten als wir.“ Eine Wahrscheinlichkeit von zehn Prozent sei nicht „unvernünftig“, sagte er und fügte hinzu, dass „niemand wirklich weiß, wie man eine sinnvolle Schätzung abgibt“.
KI-Systeme könnten „sehr böswillige“ biologische Viren entwerfen, Computerviren verüben und „verheerende Cyberangriffe“ starten. „Es gibt unzählige andere Möglichkeiten, wie es uns beseitigen könnte, wenn es wollte. Wir müssen herausfinden, wie man es so gestaltet, dass es das nicht will“, sagte Hinton. Er skizzierte zwei mögliche Zukünfte: „Eine, in der wir herausfinden, wie wir mit diesen Gefahren umgehen, bevor sie außer Kontrolle geraten, und eine andere, in der wir dies nicht tun.“
Cohere-CEO sieht KI als mächtigste Cyberschutzwaffe
Aidan Gomez, CEO und Mitbegründer des KI-Unternehmens Cohere und einer der Autoren des bahnbrechenden Forschungsartikels „Attention Is All You Need“ aus dem Jahr 2017, äußerte sich gegenüber CNBCs Podcast „The Tech Download“ am 1. September. „Ich denke, dass diese Modelle die potenteste Cyberschutzwaffe sind, die je erschaffen wurde, die wir je gesehen haben. Sie sind unglaublich darin, Schwachstellen im großen Maßstab zu finden und auszunutzen“, sagte Gomez.
Mit Blick auf Cybersicherheitsangriffe, die im Sommer von rogue-KI-Modellen durchgeführt wurden, betonte er: „Aktuelle Vorfälle machen eines klar: Die Sicherheit der Einsatzumgebung bestimmt die Sicherheit.“ Schwache Container-Sicherheit sei es, was Ausbruch-Ereignisse ermögliche, nicht ein inhärenter Drang hin zu autonomen Systemen. Gomez forderte die Politik auf, bei der Regulierung zu erkennen, dass verschiedene Systeme unterschiedliche Risiken bergen. Regeln sollten nicht ausschließlich von großen Technologieunternehmen geprägt werden, die nach AGI streben.
KI-Chefs wie Sam Altman (OpenAI), Dario Amodei (Anthropic), Demis Hassabis (Google DeepMind) und Elon Musk haben in seltener Übereinstimmung eine Verlangsamung und regulatorische Aufsicht gefordert. Die Debatte in Washington bleibt indes hitzig: Während Teile des Kongresses für Gesetze zur Eindämmung des KI-Fortschritts plädieren, lehnt Präsident Trump eine Regulierung entschieden ab.
