„Nicht-null-Chance, dass KI alle tötet“: Anthropic-Mitgründer Jack Clark warnt in Oxford – und liefert ein beunruhigendes Gesamtbild

Es ist ein Satz, der aufhorchen lässt – nicht von einem Aktivisten oder Science-Fiction-Autor, sondern vom Mitgründer eines der wertvollsten KI-Unternehmen der Welt: „Es gibt eine nicht-null-Chance, dass KI jeden auf dem Planeten tötet“, sagte Jack Clark, Mitgründer von Anthropic, diese Woche in einer Vorlesung an der University of Oxford. Und fügte hinzu: „Es ist wichtig, klar zu sagen, dass dieses Risiko nicht verschwunden ist.“

Clark ist kein Außenseiter. Anthropic, das Unternehmen hinter Claude und dem kürzlich veröffentlichten Modell Mythos, wird mit rund 900 Milliarden Dollar bewertet. Wenn jemand aus dem Maschinenraum spricht, dann er. Seine Oxford-Vorlesung lieferte eine Mischung aus atemberaubenden Prognosen, existenziellen Warnungen – und einer deutlichen Kritik an der kollektiven Untätigkeit.

Die Prognosen: Nobelpreis, Roboter, KI-Firmen

Clark beschrieb einen „schwindelerregenden Fortschritt“ („vertiginous sense of progress“) und machte mehrere konkrete Vorhersagen:

• Nobelpreis innerhalb von 12 Monaten: Ein KI-System werde zusammen mit Menschen eine nobelpreiswürdige wissenschaftliche Entdeckung machen.
• Humanoide Roboter in 2 Jahren: Zweibeinige Roboter würden Handwerkern bei der Arbeit helfen.
• KI-Unternehmen in 18 Monaten: Firmen, die ausschließlich von KI-Systemen geführt werden, würden Millionenumsätze erzielen.
• Ende 2028: KI-Systeme könnten ihre eigenen Nachfolger entwerfen – ein rekursiver Wendepunkt mit unabsehbaren Folgen.

Manches davon klinge „verrückt“, räumte Clark selbst ein. Aber es sind Prognosen von jemandem, der täglich an der Spitze der Entwicklung steht – kein Future-Fiction-Panel, sondern ein Working-Scientist mit Zugang zu den leistungsfähigsten Modellen der Welt.

Mythos: Das Modell, das Cybersicherheitsexperten beunruhigt

Die Warnungen Clarks bekommen zusätzliches Gewicht durch das, was Anthropic selbst gerade veröffentlicht hat: Claude Mythos, das neueste Modell des Unternehmens, erwies sich als „alarmierend fähig“ darin, Cybersicherheitslücken auszunutzen – so sehr, dass der Financial Stability Board (FSB), ein internationales Gremium zur Finanzmarktstabilität, involviert wurde (The Guardian, 18. Mai 2026).

Diese Kombination ist es, die Clarks Warnung so ernst macht: Es geht nicht um hypothetische Superintelligenz in ferner Zukunft. Es geht um heute messbare Fähigkeiten, die bereits Sicherheitsinstitutionen auf den Plan rufen.

Pro & Contra: Angstmache oder berechtigte Warnung?

Clarks Aussagen polarisieren. Sie werfen eine Grundsatzdebatte auf, die weit über Oxford hinausreicht.

Pro: Was für Clarks Warnungen spricht

• Insider-Perspektive: Clark beobachtet die Entwicklung aus nächster Nähe. Seine Prognosen sind keine Spekulation, sondern basieren auf dem, was Anthropic in den Labs sieht.
• Mythos als Beleg: Dass ein aktuelles Modell Sicherheitsbehörden alarmiert, unterstreicht die Konkretheit der Risiken.
• Amodeis 25-Prozent-Schätzung: Anthropic-CEO Dario Amodei hatte bereits im Januar gewarnt, die Wahrscheinlichkeit katastrophaler KI-Szenarien liege bei 25 Prozent – und dass die Welt „2026 deutlich näher an echter Gefahr ist als 2023″.
• COVID-Parallele: Clark vergleicht die mangelnde Vorbereitung mit der Zeit vor Pandemien: „Wenn wir dastehen und synthetische Intelligenz sich vermehren lassen, werden wir irgendwann zur Reaktivität gezwungen.“
• Rekursive Spirale: Wenn KI-Systeme bis 2028 ihre eigenen Nachfolger entwerfen können, beschleunigt sich die Entwicklung auf eine Weise, die keine Regulierungsbehörde mehr einholen kann.

Contra: Die Kritik an der „Fear-Mongering“-These

• Geschäftsmodell-Kritik: Das Trump-Weiße Haus und KI-Accelerationists werfen Anthropic vor, mit Angstmache Regulierung zu fördern, die die eigene Marktposition zementiert.
• Selbsterfüllende Prophezeiung: Wer vor „zivilisatorischen Schäden“ warnt, während er selbst die leistungsfähigsten Modelle baut, steht unter Glaubwürdigkeitsdruck.
• Fehlende Differenzierung: „Nicht-null-Chance“ ist eine bewusst vage Formulierung – sie reicht von 0,0001 % bis 25 %. Sie ist alarmierend, ohne falsifizierbar zu sein.
• Ablenkung von realen Problemen: Existenzielle Risiken dominieren die Schlagzeilen, während konkrete Schäden – Jobverluste, Bias, Desinformation – bereits heute messbar sind und mehr Aufmerksamkeit brauchen.
• Oxford als Echokammer: Ethische KI-Institute haben per Definition ein Interesse daran, Risiken zu betonen. Ein Vortrag in diesem Umfeld ist kein neutrales Forum.

Einordnung

Die Wahrheit liegt vermutlich zwischen den Polen. Clarks Warnungen pauschal als PR abzutun, wäre fahrlässig – die Fähigkeiten, die Mythos demonstriert, sind real. Gleichzeitig muss man die institutionellen Anreize sehen: Ein Unternehmen, das Regulierung zu seinem Wettbewerbsvorteil macht, kommuniziert Risiken anders als ein neutraler Beobachter.

Entscheidend ist nicht Clarks Prozentzahl, sondern die strukturelle Dynamik, die er beschreibt: ein globaler Wettlauf, in dem „kommerzielle und geopolitische Rivalitäten die existenziellen Aspekte der Technologie übertönen“. Dieses Problem ist unabhängig von Anthropics Motiven real.

Was bedeutet das für Deutschland und Europa?

Clarks Warnungen sind kein rein amerikanisches Problem. Drei Gründe, warum Deutschland und Europa genau hinschauen sollten:

1. EU AI Act als Testfall: Die EU hat mit dem AI Act den weltweit ambitioniertesten Rechtsrahmen geschaffen. Clark sagte, es wäre „besser, wenn Menschen die Entwicklung verlangsamen könnten, um als Spezies mehr Zeit zu gewinnen“. Der AI Act ist genau dieser Versuch – aber er wirkt nur, wenn die Durchsetzung funktioniert und die großen Player ihn nicht umgehen.
2. Abhängigkeit von US-Modellen: Europa hat kein eigenes Frontier-Modell. Anthropic, OpenAI und Google sitzen alle in den USA. Die Abhängigkeit von Modellen, deren Entwickler selbst vor existenziellen Risiken warnen, ist ein strukturelles Sicherheitsrisiko für europäische Infrastrukturen.
3. Kognitive Atrophie als unterschätztes Risiko: Prof. Edward Harcourt, Direktor des Oxford Institute for Ethics in AI, warnte in der gleichen Veranstaltung vor „kognitiver Atrophie“ – dem Verlust menschlicher Entscheidungs- und Urteilsfähigkeit durch Überdelegation an KI-Systeme. Das betrifft Europa mit seinem starken öffentlichen Sektor und Verwaltungsapparat besonders.

Drei Maßnahmen – jenseits von Alarmismus und Ignoranz

Die Kunst liegt darin, Clarks Warnungen ernst zu nehmen, ohne in Panik oder Fatalismus zu verfallen. Drei konkrete Handlungsfelder:

1. Europäische Evaluierungsinfrastruktur aufbauen: Der FSB wurde bei Mythos eingeschaltet. Europa braucht eigene, unabhängige Kapazitäten, um Frontier-Modelle auf Sicherheitsrisiken zu testen – vor dem Deployment, nicht danach. Das UK AI Safety Institute ist ein Anfang, aber die EU braucht ein eigenes Pendant mit Durchgriffsrechten.
2. Red-Teaming-Pflicht für alle Frontier-Modelle: Der AI Act fordert Risikobewertungen, aber Clarks Warnung zeigt: Die Geschwindigkeit überholt die Regulierung. Notwendig ist eine verbindliche, externe Red-Teaming-Prüfung für jedes Modell, das bestimmte Leistungsschwellen überschreitet – mit Stopp-Befugnis bei kritischen Befunden.
3. Human-in-the-Loop gesetzlich verankern: Harcourts Warnung vor kognitiver Atrophie ernst nehmen heißt: Wo KI-Entscheidungen Menschen betreffen (Gesundheit, Justiz, Finanzen), muss ein qualifizierter Mensch zwingend in der Entscheidungskette bleiben – nicht nur als Feigenblatt, sondern mit echter Eingriffs- und Aufhebungsbefugnis.

Fazit

Jack Clarks Oxford-Vorlesung ist mehr als eine Schlagzeile über „KI tötet alle“. Sie ist eine präzise Risikokarte von jemandem, der das Gelände kennt. Wer sie auf „Angstmache“ reduziert, macht es sich zu einfach. Wer sie unkritisch übernimmt, ebenso.

Die Botschaft, die bleibt, ist Clarks zentraler Punkt: Das Risiko ist nicht verschwunden. Es hat sich konkretisiert. Mythos, der FSB, die 2028-Prognose – das sind keine Science-Fiction-Drehbücher, sondern Benchmarks, an denen sich die KI-Regulierung messen lassen muss. Die Frage ist nicht, ob wir Clarks Warnungen glauben. Sondern ob wir Systeme haben, die darauf vorbereitet wären, falls er recht hat.

Mehr zum Thema: KI-Auslöschung: Warum wir näher dran sind, als wir denken – wie Anthropic Claude Mythos aus Sicherheitsgründen zurückhielt und was das für die Debatte bedeutet.

FAQ

Wer ist Jack Clark?

Jack Clark ist Mitgründer und Head of Policy bei Anthropic, dem Unternehmen hinter den KI-Modellen Claude und Mythos. Zuvor war er Policy Director bei OpenAI und investigativer KI-Journalist bei Bloomberg. Anthropic wurde 2021 von ehemaligen OpenAI-Mitarbeitern gegründet, die das Unternehmen wegen Sicherheitsbedenken verließen.

Was bedeutet „nicht-null-Chance“ konkret?

Der Begriff stammt aus der Risikokommunikation: Er bedeutet, dass ein Szenario nicht unmöglich ist, ohne eine präzise Wahrscheinlichkeit anzugeben. Anthropic-CEO Dario Amodei konkretisierte die Gefahr katastrophaler KI-Szenarien im Januar 2026 auf etwa 25 Prozent. Die Spanne ist bewusst weit – es geht nicht um Punktprognosen, sondern um die Anerkennung, dass das Restrisiko existiert und wächst.

Was ist Claude Mythos und warum ist es relevant?

Claude Mythos ist das neueste KI-Modell von Anthropic, das im Mai 2026 veröffentlicht wurde. Es zeigte nach Angaben des Guardian alarmierende Fähigkeiten im Ausnutzen von Cybersicherheitslücken, was den Financial Stability Board (FSB) dazu veranlasste, sich einzuschalten. Mythos ist damit ein konkretes Beispiel für Clarks These: Die Risiken sind nicht hypothetisch, sondern an aktuellen Modellen messbar.

Wie positioniert sich Europa zu diesen Warnungen?

Die EU hat mit dem AI Act den weltweit umfassendsten Rechtsrahmen für KI-Sicherheit geschaffen. Die Durchsetzung steht jedoch noch am Anfang. Das UK AI Safety Institute testet Frontier-Modelle, aber auf EU-Ebene fehlt ein äquivalentes Institut mit eigenen Testkapazitäten und Interventionsrechten.