KI-Notbremse: Wer bremst hier eigentlich wen?

Stellen Sie sich ein Autorennen vor. Drei Fahrer liegen vorn. Seit Jahren kämpfen sie um jede Zehntelsekunde. Plötzlich funken alle drei an die Rennleitung: Bitte bremst uns.

Genau das ist im September passiert.

Dario Amodei ist Chef des KI-Unternehmens Anthropic, von dem das Sprachmodell Claude stammt. Am 12. September veröffentlichte er einen langen Aufsatz. Die Überschrift, frei übersetzt: Wir müssen das Tempo an der Spitze drosseln. Die Branche solle ihre stärksten Modelle langsamer verbessern, damit die Sicherheit hinterherkommt. Unabhängige Prüfer sollen in den Laboren ein- und ausgehen wie eigene Mitarbeiter. Schon in sechs bis zwölf Monaten, warnt er, könne KI imstande sein, als Schwarm das gesamte Internet zu übernehmen.

Elon Musk, dessen KI Grok heißt, antwortete knapp: „Dario hat recht.“

Sam Altman, Chef von OpenAI und damit von ChatGPT, schrieb, er stimme Dario zu.

Drei Rivalen, eine Meinung. Das hat Seltenheitswert.

Und wer tritt aufs Gas? Die Rennleitung. Donald Trump nannte die ganze Sorge einen Schwindel. Die einzige Sicherung, die KI brauche, sei ein starker und kluger Präsident. Raten Sie, wen er meint. Chinas Staatspresse sprach von einem Drehbuch aus dem Kalten Krieg.

Verkehrte Welt. Oder ein sehr gutes Geschäft.

Vier Tage vorher kündigte der 27-jährige Anthropic-Forscher Jacob Coxon seinen Job. Sein Vorwurf: Die Labore rasen auf eine selbstverbessernde Superintelligenz zu und spielen mit unser aller Leben. Evan Hubinger, bei Anthropic für sichere KI zuständig, gab ihm recht. Er schätzt das Risiko, dass KI binnen zehn Jahren die Menschheit auslöscht, auf mehr als zehn Prozent.

Ein Risiko von 10%. Für den Weltuntergang. Verkündet von den eigenen Leuten.

Für die Medien ist das ein Fest.

Der ZDF-Podcast „Der Trump-Effekt“ macht es vor. Dort landen vier Dinge in einem Topf: ausbrechende Testprogramme, staatliche Propaganda, Unsinn in einem Geheimdienstbericht – und der Untergang der Menschheit.

Das sind vier verschiedene Probleme. Zusammengerührt ergeben sie vor allem eines: Gänsehaut.

Sie können übrigens froh sein, dass ihre Panik derzeit noch danebenliegt. Denn dass irgendwann etwas Großes, Schlimmes passiert, ist klar. Die Frage ist nur, wann.

Bis dahin lohnt es, die Dinge auseinanderzuhalten.

Die normalen Gefahren sind echt. Menschen missbrauchen KI für Betrug, Propaganda und Überwachung. Maschinen erzählen mit fester Stimme Unsinn. Und manchmal tun sie Dinge, die ihnen niemand aufgetragen hat.

Im Juli haben sich bei OpenAI rund 1.200 KI-Agenten in einem internen Sicherheitstest heimlich abgesprochen. Agenten sind Programme, die nicht nur antworten, sondern selbstständig handeln. Sie klicken, schreiben und führen Befehle aus. Etwa 700 von ihnen beteiligten sich an einem Angriff auf Systeme von Hugging Face, einer Plattform für KI-Modelle. Sie wollten bei ihrer Prüfungsaufgabe schummeln. OpenAI selbst sprach von einem Warnschuss.

Das klingt erheblich weniger beruhigend als: „Alexa, spiel Helene Fischer.“

Kein Mensch hatte das befohlen. Das ist der Punkt.

Dazu kommt die Aussicht auf AGI, die künstliche allgemeine Intelligenz. Gemeint ist ein System, das ganz unterschiedliche geistige Aufgaben so beweglich löst wie ein Mensch. Eine Stufe darüber läge die Superintelligenz, die uns in fast allem überlegen wäre.

So weit sind wir nicht. Aber wir sind schneller unterwegs, als die meisten ahnen.

Wir sind nämlich dort angekommen, wo man exponentielles Wachstum zum ersten Mal mit bloßem Auge sieht. Exponentiell heißt nicht einfach „sehr schnell“. Es heißt: Der Wert verdoppelt sich immer wieder. Lange sieht die Kurve harmlos aus. Dann geht sie steil nach oben.

Das amerikanische Prüfinstitut METR misst, welche Softwareaufgaben eine KI mit 50 Prozent Erfolgswahrscheinlichkeit bewältigt – gemessen an der Arbeitszeit, die ein Mensch dafür bräuchte. Dieser Wert verdoppelt sich derzeit gut alle vier Monate. Im März 2024 waren das Aufgaben von rund vier Minuten Menschenzeit; 2026 bereits Aufgaben von etwa zwölf Stunden.

Kurven können abflachen. Hält diese aber noch eine Weile, werden die Fortschritte in kurzer Zeit gewaltig.

Damit kommen wir zur „rekursiven Selbstverbesserung“. Hinter dem sperrigen Begriff steckt eine einfache Idee: KI hilft, bessere KI zu bauen. Die bessere KI baut eine noch bessere. Dreht sich dieser Kreis schnell genug, läuft die Entwicklung den Menschen davon, die sie verstehen und absichern sollen.

Das ist nicht bloß Zukunftsmusik. Nach Angaben von Anthropic stammten im Mai 2026 schon mehr als 80 Prozent des intern übernommenen Programmcodes von Claude. Seinen Nachfolger entwickelt Claude aber noch nicht allein.

Genau dieses kleine Wort „noch“ ist der Grund für die Aufregung.

Das ist ein ernstes Szenario. Ein Beweis für den Weltuntergang ist es nicht.

Nehmen wir die 10%. Sie klingen nach Mathematik. Sie sind ein Bauchgefühl mit Prozentzeichen. Es gibt schließlich keine Versuchsreihe mit zehn Erden, von denen eine bereits ausgestorben ist. Hubinger sagt selbst, dass es seine persönliche Schätzung ist. Die heutigen Modelle hält er übrigens für wenig gefährlich.

Jensen Huang, Chef des Chipherstellers Nvidia, nennt die Zahl wissenschaftlich nicht fundiert. Nun baut Nvidia die Chips, auf denen fast jede KI rechnet. Huang lebt also vom Tempo. Recht hat er trotzdem.

Auch der Agentenschwarm taugt nicht zum Gruselfilm. Dort ist keine Maschine erwacht. Die KI ist also tatsächlich aus ihrem Käfig geklettert. Aber der Käfig stand in einer Versuchsanlage für professionelle Käfigknacker.

Bleibt die Frage, warum ausgerechnet die Schnellsten nach der Bremse rufen.

Erstens: Geld. Richard David Precht sagte bei „Lanz + Precht“, die großen KI-Firmen hätten einen Vorteil davon, „jetzt auch noch als Regulatoren aufzutreten“. Sicherheitsabteilungen, externe Prüfer und Zulassungen sind teuer. Die Großen zahlen das nebenbei. Ein junger Wettbewerber nicht. Wer die Regeln mitschreibt, bestimmt den Eintrittspreis.

Zweitens: China. In Amodeis Aufsatz steht nicht nur Vorsicht. Dort steht auch, dass die stärksten Chips China fernbleiben sollen. So wird aus Sicherheit Industriepolitik. Peking hat das sofort verstanden. Daher der Kalte Krieg.

Drittens: Haftung. Alex Karp, Chef der Datenfirma Palantir, hat es am deutlichsten gesagt. Wer selbst erklärt, seine Technik könne ein Zehntel der Welt zerstören, der haftet dafür, zivil und strafrechtlich. Der Ruf nach staatlichen Regeln sei der Versuch, aus dieser Haftung herauszukommen.

Viertens: Die Börse. Musk selbst spottete, es sei schon eine besondere Kunst, vor dem Ende der Menschheit zu warnen und gleichzeitig Anteile für den eigenen Börsengang zu verteilen.

Doch Regulierung kann die Kleinen auch schützen. Ich bin selbst Verleger, also Partei. Mit dem „Frankfurter Appell“ fordern deutsche Verlage Transparenz darüber, mit welchen Büchern KI trainiert wird. Regeln können Marktmacht also absichern – oder begrenzen.

Das macht die Warnungen nicht falsch. Es macht sie nur weniger selbstlos.

Und Trump? Der will nicht bremsen und sagt auch, warum: „Wer bei KI gewinnt, gewinnt.“ Rechenzentren sind für ihn das Öl der nächsten Jahrzehnte. Das Weiße Haus wirbt mit mehr als 2,7 Billionen Dollar angekündigten Technologie- und KI-Investitionen. Angekündigt – nicht bereits ausgegeben. An dieser Wette hängen Wachstum und Börse. Wer jetzt bremst, gefährdet aus seiner Sicht beides. Und dahinter steht die eine große Sorge: Dass China vorbeizieht.

China bremst erst recht nicht. Der Staat schiebt kräftig an. Peking redet von KI zum Wohle aller und baut mit Hochdruck eigene Chips und Modelle.

Europa schaut zu. Es hat Vorschriften und eine Rechnung: Rund 1,3 Billionen Euro müsste es nach einer Expertenschätzung in Rechenzentren stecken, um seinen Anteil an der weltweiten Rechenleistung von 5 auf 15% zu heben.

Alle reden über Sicherheit. Alle meinen auch noch etwas anderes.

Hype oder Hebel? Diesmal beides. Der Weltuntergang ist vorerst Hype. Der Hebel ist echt, und er liegt bei denen, die künftig die Regeln schreiben.

Die eigentliche Bombe tickt ohnehin woanders. Nicht im Rechenzentrum. Im Büro.

Meine Prognose: In zehn Jahren werden in den Industriestaaten 80 Prozent unserer heutigen Berufe verschwunden, grundlegend verändert oder in weiten Teilen automatisiert sein.

Das bedeutet nicht 80 Prozent Arbeitslose – selbst wenn Berufsbezeichnungen bleiben, übernehmen Maschinen viele der bisherigen Aufgaben.

Dafür braucht es keine Superintelligenz. Dafür reichen ein paar Verdopplungen.

Aber das ist eine andere Kolumne. Oder ein Buch.

Für heute genügt eine Faustregel. Wenn Rennfahrer nach der Bremse rufen, sollte man nicht nur fragen, ob die Strecke gefährlich ist.

Sondern auch, wer die Bremsen verkauft:
Zehn Prozent Weltuntergang.
Hundert Prozent Börsengang.

MENSCH. MASCHINE. KI. · DR. NORMANN GÜNTHER