P(Doom): Warum KI-Untergangsprognosen mehr schaden als nützen

Roula Khalaf, Chefredakteurin der Financial Times, widmet sich in ihrem wöchentlichen Newsletter einem Phänomen, das die KI-Branche zunehmend beschäftigt: P(Doom). Die Abkürzung steht für "Wahrscheinlichkeit des Untergangs" und ist plötzlich im Mainstream angekommen.

Vor einigen Wochen sorgte ein Tweet von Evan Hubinger, leitender KI-Sicherheitsforscher bei Anthropic, für Aufsehen. "Wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte! Ich persönlich denke, dass die Wahrscheinlichkeit >10% innerhalb des nächsten Jahrzehnts liegt", schrieb er. Warum dieser Tweet eine solche Reaktion auslöste, bleibt unklar. Möglicherweise spielte der Zeitpunkt nach dem beunruhigenden Hack der Hugging Face-Server eine Rolle, der von Large Language Models (LLMs) angetrieben wurde. Vielleicht war es auch das manisch fröhliche Ausrufezeichen.

Es ist nicht das erste Mal, dass KI-Insider solche Bedenken äußern. Geoffrey Hinton, Pionier neuronaler Netze und Nobelpreisträger, verließ 2023 Google. Er nannte zwar sein Alter als Grund, warnte aber auch davor, dass die Technologie zunehmend gefährlich werde. In einem BBC-Interview schätzte Hinton ein P(Doom) von zehn Prozent als "nicht unvernünftig" ein, fügte jedoch hinzu: "Niemand weiß wirklich, wie man eine sinnvolle Schätzung abgibt."

Die Schwierigkeit mit Prognosen

Philip Tetlock, ein renommierter Forscher auf dem Gebiet der Prognostik, hat früh erkannt, dass viele Expertenprognostiker extrem vage sind und sich selten für ihre Aussagen verantworten müssen. "Die Wirtschaft von Ruritania wird bald mit einer Währungskrise konfrontiert sein" – solche Aussagen klingen autoritär, doch was ist die Definition einer Währungskrise, und hat der Prophet einen bestimmten Termin im Sinn?

Tetlocks Lösung bestand aus zwei Teilen: Erstens die Prognose auf ein objektives Maß festlegen, zweitens eine Frist setzen und abwarten. Wenn die Vorhersage jedoch den Tod aller Menschen betrifft, ist "eine Frist setzen und abwarten" keine völlig zufriedenstellende Taktik.

Tetlock ist Teil eines neuen Automatic AI Risks Outlook (AIRO), bei dem KI-Prognostiker die Wahrscheinlichkeit verschiedener Katastrophen durch KI vorhersagen – vom Verlust einer Milliarde Pfund oder tausend Leben bis hin zum Verlust von zehn Prozent der Weltbevölkerung. Ein Vorteil dieses Ansatzes: Kleinere Verluste sind beobachtbar und könnten Rückschlüsse auf größere Risiken zulassen.

Was die Prognosen tatsächlich sagen

Die KI-Prognostiker sehen unseren nahen Untergang nicht voraus. Sie veranschlagen die Chance, dass KI bis 2030 etwa eine Milliarde Menschen tötet, auf weniger als 0,5 Prozent. Bis 2050 liegt die Wahrscheinlichkeit bei weniger als fünf Prozent. Die Chance auf eine Katastrophe durch irgendeine Ursache – Atomwaffen, Viren, Asteroideneinschläge – beträgt bis 2050 rund 8,5 Prozent.

Ob dies beruhigend ist oder nicht, bleibt jedem selbst überlassen. Prognosen dienen vielen Zwecken. Der häufigste ist Smalltalk – die Andeutung, dass Arsenal die Champions League gewinnt oder dass Kemi Badenoch die Führung der Conservative Party verliert, wirkt intelligenter, als über das Wetter zu sprechen. Es ist eine Art kognitiver Snack: süchtig machend, aber kaum nahrhaft.

Ein weiterer Grund für Vorhersagen ist, Aufmerksamkeit zu erregen. Die KI-Händler haben diese zweifellos, indem sie von anderen Risiken ablenken. Erinnert sich noch jemand an Atomkrieg, Terrorismus, Faschismus, Finanzkrach, Klimawandel oder eine tödliche Pandemie? Die gefährlichsten Risiken sind jene, denen man keine Beachtung mehr schenkt, weil man zu sehr damit beschäftigt ist, sich um etwas anderes zu sorgen.

Historische Lehren

Prognosen sind auch eine gute Möglichkeit, den eigenen Ruf zu steigern – insbesondere wenn sie eintreffen, obwohl das nicht zwingend erforderlich ist. Anfang des 20. Jahrhunderts war Roger Babson, einer der ersten Wirtschaftsprognostiker, von Isaac Newton fasziniert. Er glaubte, dass newtonsche Ideen für wirtschaftliche Vorhersagen genutzt werden könnten. Die newtonsche Prognose funktionierte nicht besonders gut, aber was für Babson funktionierte, war die starke Werbung für seine erfolgreicheren Prognosen.

Carissa Véliz' Buch "Prophecy" (2026) liefert ein Beispiel für eine aufmerksamkeitserregende Prophezeiung, die sich in einen Kampf ums Überleben verwandelte. Der Hofastrologe von König Ludwig XI. prophezeite, dass eine der Damen am Hof innerhalb einer Woche sterben würde – und dann tat sie das. Für den Geschmack Ludwigs war das etwas zu treffend. Er beschloss, den Mann hinrichten zu lassen, lud ihn jedoch zuvor ein, seinen eigenen Tod vorherzusagen. "Ich werde genau drei Tage vor Eurer Majestät sterben", antwortete der Astrologe und rettete so sein Leben.

Prognosen und strategische Entscheidungen

In seinem Werk "Scenarios: The Art of Strategic Conversation" (1996) beschreibt Kees van der Heijden eine Begegnung mit strategischen Planern eines großen Akteurs in der Mainframe-Computerindustrie. Sie hatten sorgfältig Prognosen für die globale Nachfrage nach Rechenleistung erstellt, ausgedrückt in Millionen von Anweisungen pro Sekunde. Was sie versäumt hatten, war, ernsthaft darüber nachzudenken, welche Form diese Rechenleistung in den 1980er und 1990er Jahren annehmen würde. Die numerische Prognose hätte perfekt genau sein können – aber das reichte nicht aus, um bessere strategische Entscheidungen zu treffen. Die eigentliche Frage hätte sein müssen: Würde diese Rechenleistung die traditionellen Mainframes antreiben oder Laptops und Spielkonsolen?

Was nützt eine genaue Prognose, wenn sie nicht davor warnt, wie die Zukunft aussehen wird? Die Planer hätten ihre Diagramme wegwerfen und einen Science-Fiction-Autor einstellen sollen.

Fazit: Hilft P(Doom) oder schadet es?

Es gibt ernsthafte Gespräche darüber, wie man KI regulieren soll, wie man sich gegen vorhersehbare Schäden wehren kann – etwa das Risiko für Arbeitsplätze oder die Explosion von Desinformation – und ja, wie man verhindern kann, dass KI es schafft, jeden auf dem Planeten zu töten. Die entscheidende Frage ist jedoch, ob der rituelle Austausch von P(Doom)-Schätzungen ein guter Weg ist, diese Gespräche zu beginnen – oder ein guter Weg, ihnen auszuweichen.