Anthropic-Forscher warnt vor einer KI-Rennlogik, die selbst das vorsichtigste Labor nicht verlassen könne. Jacob Coxon hat Anthropic gekündigt und wirft dem Unternehmen sowie seinem früheren Arbeitgeber OpenAI vor, auf selbstverbessernde Superintelligenz zuzusteuern und dabei „mit unserem Leben zu spielen“.
Die dramatischste Reaktion kam nicht von einem Kritiker außerhalb der Branche. Evan Hubinger, der bei Anthropic ein Team für Alignment-Stresstests leitet, stimmte Coxon öffentlich zu. Er schätzt persönlich die Wahrscheinlichkeit, dass KI innerhalb des kommenden Jahrzehnts alle Menschen töten könnte, auf mehr als zehn Prozent. Zugleich schrieb er, Anthropic habe noch keinen Plan für das Alignment einer Superintelligenz und sei nicht erkennbar auf dem Weg zu einem solchen Plan.
Man muss diese Prognose nicht übernehmen, um den Vorgang ernst zu nehmen. Der Rücktritt beweist keine bevorstehende Katastrophe. Er legt aber einen Governance-Widerspruch offen: Wenn ein Labor ein existenzielles Risiko für plausibel hält, darf seine wirksamste Sicherheitskontrolle nicht die Hoffnung sein, vor dem weniger vorsichtigen Konkurrenten zu gewinnen.
Wer Jacob Coxon ist – und was er tatsächlich sagt
Jacob Coxon arbeitete nach Angaben von Business Insider seit 2023 bei OpenAI und wechselte im Juli 2026 zu Anthropic. Er war an Pretraining-Forschung beteiligt, unter anderem rund um GPT-4o. Coxon war damit kein externer Aktivist und auch kein Leiter eines Sicherheitsteams. Er arbeitete an der technischen Grundlage, auf der leistungsfähige Modelle entstehen.
In seinem öffentlichen Rücktrittsbeitrag unterscheidet Coxon zwischen seinen beiden früheren Arbeitgebern. Bei OpenAI hätten viele die zivilisatorische Tragweite nicht tief genug verinnerlicht. Bei Anthropic würden die Risiken verstanden. Das Unternehmen glaube jedoch, weiterlaufen zu müssen, weil sonst ein unverantwortlicherer Akteur zuerst am Ziel sei.
Das ist eine härtere Kritik als der übliche Vorwurf, ein Konzern ignoriere Sicherheit. Coxon sagt im Kern: Anthropic nimmt das Risiko ernst und steckt trotzdem in einer Struktur, die Vorsicht bestraft.
OpenAI und Anthropic beantworteten die Anfragen von Business Insider zunächst nicht. Deshalb bleibt Coxons Beschreibung der internen Stimmung seine persönliche Darstellung. Sie wird allerdings durch eine ungewöhnlich offene Wortmeldung aus dem Unternehmen gestützt.
Anthropic-Forscher warnt – und der Alignment-Leiter widerspricht nicht
Evan Hubinger schrieb als Antwort, Coxon liege richtig. Seine Aussage von mehr als zehn Prozent Auslöschungsrisiko innerhalb eines Jahrzehnts ist eine persönliche Einschätzung, keine offizielle Risikozahl von Anthropic. Diese Trennung ist wichtig.
Ebenso wichtig ist der zweite Teil seiner öffentlichen Antwort: Anthropic versuche sein Bestes, habe aber noch keinen Plan, um eine Superintelligenz zuverlässig auszurichten. Hubinger stellte später klar, dass er das Risiko heutiger Systeme weiterhin als niedrig einordnet. Seine Sorge richtet sich auf Modelle, die ihre eigenen Nachfolger zunehmend selbst entwickeln.
Die Schlagzeile „KI-Forscher erwartet das Ende der Menschheit“ verkürzt den Fall deshalb an der falschen Stelle. Spannend ist nicht die exakte Prozentzahl. Für solche seltenen Zukunftsszenarien gibt es keine belastbare Statistik. Entscheidend ist, dass eine Person mit direkter Verantwortung für Alignment gleichzeitig drei Dinge sagt:
- Das mögliche Schadensausmaß ist maximal.
- Die technische Lösung existiert noch nicht.
- Die Entwicklung wird trotzdem fortgesetzt.
Diese Kombination ist ein institutionelles Signal. Sie sagt mehr über die Sicherheitsarchitektur der Branche aus als jede einzelne Untergangsprognose.
Die Rennfalle: Warum gute Absichten nicht genügen
Anthropics Logik lässt sich als Drei-Spieler-Falle beschreiben. Jeder Akteur betrachtet sich selbst als vergleichsweise verantwortungsvoll. Gleichzeitig erwartet jeder, dass mindestens ein Konkurrent weiter skaliert. Daraus entstehen drei scheinbar vernünftige Schritte:
- Wir dürfen nicht allein stoppen. Sonst übernimmt ein weniger vorsichtiger Anbieter die Führung.
- Wir müssen zuerst ankommen. Nur dann können unsere Sicherheitsstandards die entscheidende Technologie prägen.
- Wir lösen die offenen Probleme unterwegs. Mehr Fähigkeiten sollen zugleich mehr Forschungskapazität für Alignment schaffen.
Jeder Schritt klingt lokal rational. Zusammen erzeugen sie genau das Ergebnis, das angeblich niemand will: Alle beschleunigen, obwohl mehrere Beteiligte das gemeinsame Tempo für gefährlich halten.
Das ist keine moralische Besonderheit von Anthropic. Der Konflikt zwischen OpenAI und Anthropic zeigt seit Jahren, wie eng Sicherheitsargumente und Wettbewerbsinteressen miteinander verflochten sind. Wer den anderen als gefährlicher betrachtet, kann fast jede eigene Beschleunigung als Schutzmaßnahme rechtfertigen.
Mein Problem mit dieser Logik ist nicht, dass sie heuchlerisch sein muss. Sie kann vollkommen ehrlich sein – und gerade deshalb versagen. Ein Sicherheitsmodell, das nur funktioniert, wenn alle Wettbewerber freiwillig gleichzeitig vernünftig handeln, ist keine Kontrolle. Es ist eine Abhängigkeit.
Was Anthropics eigener Risikobericht bestätigt
Coxons Warnung steht nicht isoliert. Anthropics Risikobericht vom August 2026 bewertet das aktuelle Risiko automatisierter Forschung und Entwicklung weiterhin als niedrig. Gleichzeitig ist das Unternehmen weniger sicher als zuvor. Ein Grund: Konkrete Aufgaben-Benchmarks seien gesättigt und könnten weitere Fähigkeitssteigerungen nicht mehr zuverlässig messen. Zudem sehe Anthropic frühe Anzeichen einer Beschleunigung.
Der Bericht sagt auch, dass Claude bereits einen großen Anteil des Codes schreibt, der in Anthropics Produktionssysteme übernommen wird. Die interne Forschung laufe durch KI-Unterstützung deutlich schneller, wenn auch laut Unternehmen noch nicht doppelt so schnell.
Das passt zur Warnung vor rekursiver Selbstverbesserung, ohne zu beweisen, dass sie bereits erreicht ist. Die unmittelbare Gefahr ist kein plötzlich erwachtes System, das über Nacht seinen Quellcode perfektioniert. Der realistischere Vorläufer ist ein geschlossener Beschleunigungskreislauf:
Bessere Modelle schreiben mehr Forschungscode. Dieser Code beschleunigt Training und Evaluation. Dadurch entstehen schneller bessere Modelle, die wiederum noch mehr Entwicklungsarbeit übernehmen.
Genau diesen wirtschaftlichen Prozess habe ich bereits bei der rekursiven Selbstverbesserung durch KI-Forschung eingeordnet. Coxons Rücktritt verschiebt die Debatte nun von der technischen Möglichkeit zur Verantwortungsfrage.
Die Gegenposition: Ein Rücktritt ist noch kein Risikomodell
Es wäre falsch, aus interner Nähe automatisch wissenschaftliche Gewissheit abzuleiten. Coxon kennt die Systeme und die Unternehmenskultur besser als Außenstehende. Daraus folgt nicht, dass seine Zeitlinie oder sein Katastrophenszenario eintreten wird.
Auch Hubingers Zehn-Prozent-Schätzung ist kein Messwert. Sie bündelt Annahmen über künftige Fähigkeiten, Autonomie, Zugriff auf Ressourcen, Sicherheitsversagen und gesellschaftliche Reaktion. Schon kleine Änderungen an diesen Annahmen können das Ergebnis stark verschieben.
Außerdem spricht einiges dafür, Anthropic nicht einfach mit einem unbekümmerten Labor gleichzusetzen. Das Unternehmen veröffentlicht umfangreiche Risikoberichte, dokumentiert Vorfälle und hält bestimmte Modelle zurück. Nach drei realen Cybersecurity-Vorfällen stoppte es die betroffenen Evaluationen und veröffentlichte eine detaillierte Untersuchung.
Doch genau hier liegt die unangenehme Gegenfrage: Wenn das vorsichtigere Labor selbst sagt, dass seine Messinstrumente an Grenzen stoßen und der langfristige Alignment-Plan fehlt, welchen belastbaren Schutz bietet dann der Vergleich mit noch schnelleren Konkurrenten?
Vier Tests für ernst gemeinte KI-Sicherheit
Ob ein Labor Sicherheit wirklich über Geschwindigkeit stellt, lässt sich nicht an Warnungen oder Leitbildern erkennen. Ich würde vier operative Tests anwenden.
1. Gibt es vorab definierte Stop-Kriterien?
Ein Risikobericht muss festlegen, welche messbare Beobachtung Training oder Deployment pausiert. „Wir beobachten die Entwicklung“ ist kein Stop-Kriterium.
2. Wer kann gegen das Geschäftsinteresse stoppen?
Ein Sicherheitsgremium ohne unabhängige Entscheidungsgewalt bleibt Beratung. Es braucht die formale Macht, einen Lauf zu verzögern, Zugänge zu sperren oder eine Veröffentlichung zu verhindern.
3. Wird fehlende Messbarkeit selbst als Risiko behandelt?
Wenn eine Evaluation gesättigt ist, darf das Ergebnis nicht als bestanden gelten. Ein Messinstrument außerhalb seines Bereichs liefert keine Entwarnung. Bis ein Ersatz validiert ist, sollte die Unsicherheit die Freigabe erschweren.
4. Ist ein gemeinsames Bremsen technisch überprüfbar?
Ein Branchenabkommen funktioniert nur, wenn Trainingsläufe, Rechenbudgets und relevante Fähigkeitsgrenzen unabhängig überprüft werden können. Sonst stoppt der Vorsichtige, während der Aggressive heimlich weiterläuft.
Diese Fragen gelten nicht nur für Frontier-Labore. Wer KI-Agenten in Unternehmen produktiv einsetzt, braucht dieselbe Struktur im Kleinen: Berechtigungsgrenzen, unveränderliche Logs, unabhängige Freigaben und Stop-Bedingungen. Die Analyse zu OpenAIs Warnung vor schwächer werdendem Monitoring zeigt, warum reine Modellbeobachtung dafür nicht mehr reicht.
Fazit: Nicht die Warnung, sondern die fehlende Bremse ist die Nachricht
Jacob Coxons Rücktritt beweist nicht, dass selbstverbessernde Superintelligenz kurz bevorsteht. Er beweist auch nicht, dass Anthropic seine Sicherheitsarbeit nur inszeniert. Seine Aussagen sollten als Insiderbewertung behandelt werden – relevant, aber nicht unfehlbar.
Der stärkere Befund entsteht aus der Kombination: Ein Pretraining-Forscher verlässt die Branche aus Sorge vor dem Rennen. Ein amtierender Alignment-Verantwortlicher stimmt dem Kern der Warnung zu. Und das Unternehmen dokumentiert selbst wachsende Unsicherheit bei der Messung automatisierter Forschung.
Damit reicht die Antwort „Wir nehmen Sicherheit ernst“ nicht mehr. Ein Labor, das ein existenzielles Risiko für plausibel hält, muss zeigen, welche konkrete Grenze es nicht überschreiten wird – auch wenn ein Wettbewerber weiterläuft.
Die entscheidende Frage ist deshalb nicht, ob Coxons Zehnjahresprognose stimmt. Sie lautet: Wer besitzt heute tatsächlich die Macht, vor der nächsten Fähigkeitsstufe auf die Bremse zu treten?
