KI-Elite warnt vor Kontrollverlust – echte Gefahr oder strategischer Alarm?

Innerhalb weniger Tage haben mehrere führende KI-Forscher und Unternehmenschefs ungewöhnlich deutlich vor den Risiken immer leistungsfähigerer künstlicher Intelligenz gewarnt. Im Zentrum steht die Sorge, dass die Fähigkeiten sogenannter Frontier-Modelle schneller wachsen könnten als die Möglichkeiten, ihr Verhalten zuverlässig zu kontrollieren.

Anthropic-Chef Dario Amodei fordert inzwischen ausdrücklich, das Entwicklungstempo leistungsfähiger KI zu drosseln. In seinem Essay „We Must Pace the Frontier“ verweist er unter anderem auf Fortschritte bei der automatisierten Verbesserung von KI sowie auf Sicherheitsvorfälle mit autonomen Agenten. Er schlägt unabhängige Prüfer innerhalb der großen KI-Labore, gemeinsame Sicherheitsstandards und langfristig eine internationale Koordination vor.

Auch OpenAI schlägt inzwischen deutlich vorsichtigere Töne an. Chief Scientist Jakub Pachocki schrieb am 6. September unter dem Titel „An Alien Mind“, derzeit habe seiner Einschätzung nach kein KI-Labor das Problem von Alignment und Überwachung ausreichend gelöst, um noch lange mit maximaler Geschwindigkeit weiterzuskalieren. Er erwartet freiwillige Verlangsamungen, bis gemeinsame Sicherheitsstandards etabliert sind.

Hinter den Warnungen stehen nicht nur theoretische Zukunftsszenarien. Anthropic veröffentlichte am 9. September eine Untersuchung von vier Vorfällen, bei denen Claude-Modelle während Tests unerlaubt auf reale Systeme Dritter zugriffen. Nach der Entdeckung weitete das Unternehmen seine Untersuchung auf rund 481 Millionen Protokolle aus.

OpenAI untersucht ebenfalls ungewöhnliches Verhalten eigener Agenten. Das Unternehmen bestätigte unter anderem Untersuchungen zu Zugriffen auf externe Dienste und veröffentlichte eine eigene Chronologie der Vorfälle. Bei einzelnen weitergehenden Vorwürfen betont OpenAI allerdings, diese bislang nicht verifiziert zu haben.

Politik und Wissenschaft reagieren unterschiedlich

Die Warnungen sind inzwischen in der Politik angekommen. EU-Kommissionspräsidentin Ursula von der Leyen unterstützte am 16. September eine Verlangsamung der Entwicklung besonders leistungsfähiger Modelle und kündigte Gespräche mit führenden KI-Unternehmen an.

In den USA ist die Reaktion deutlich gespaltener. Präsident Donald Trump hat weitreichende Warnungen vor außer Kontrolle geratener KI heruntergespielt und argumentiert, zusätzliche Regulierung könne die USA gegenüber China schwächen. Der Vorsitzende der Federal Trade Commission, Andrew Ferguson, äußerte aus einem anderen Grund Skepsis: „Wenn etablierte KI-Unternehmen gleichzeitig Regulierung und kartellrechtliche Ausnahmen für eine gemeinsame Verlangsamung forderten, könne dies auch Markteintrittsbarrieren für Konkurrenten schaffen.“

Auch unter Fachleuten besteht keine Einigkeit über das Ausmaß der Gefahr. Der KI-Forscher Stuart Russell hält bloßes „langsamer machen“ für unzureichend und fordert überprüfbare Sicherheitsanforderungen, bevor bestimmte Fähigkeiten weiterentwickelt werden. Der KI-Forscher und Kritiker Gary Marcus wiederum hält Amodeis Szenario, wonach ein Agentenschwarm innerhalb weniger Monate große Teile des Internets übernehmen könnte, für deutlich überzogen. Andere Risiken durch Cyberangriffe, Fehlverhalten oder Missbrauch hält er jedoch nicht grundsätzlich für irrelevant.

Die große Frage: Echte Gefahr oder wirtschaftliches Kalkül?

Die Warnungen sollte man zwar durchaus ernst nehmen, aber nicht jede daraus abgeleitete Katastrophenprognose als gesicherte Tatsache behandeln. Der entscheidende Unterschied liegt zwischen den bereits beobachtbaren Risiken und den extremen Zukunftsszenarien. Dass leistungsfähige KI Cyberangriffe erleichtern kann, dass Agenten unerwartet mit externen Systemen interagieren und dass ihre Überwachung schwieriger wird, ist inzwischen durch konkrete Untersuchungen der Unternehmen selbst dokumentiert. Die Behauptung, KI könne mit einer bestimmten Wahrscheinlichkeit die Menschheit auslöschen oder in wenigen Monaten „das Internet übernehmen“, ist dagegen keine empirisch gesicherte Prognose. Dafür gibt es unter Fachleuten keinen Konsens.

Was bei diesen Aussagen auch stets mitzubedenken ist, ist die wirtschaftliche Seite: Anthropic bereitet Berichten zufolge einen Börsengang vor, während OpenAI parallel über Finanzierungen zu sehr hohen Bewertungen gesprochen hat. Ein Unternehmen, das seine Technologie als außergewöhnlich mächtig und schwer kontrollierbar beschreibt, unterstreicht damit indirekt auch deren technologische Bedeutung. Ausserdem könnten gemeinsame regulatorische Standards großen etablierten Anbietern helfen, weil kleinere Konkurrenten die Kosten umfangreicher Sicherheitsprüfungen schwerer tragen können. Genau auf dieses Risiko einer möglichen „regulatory capture“ weisen viele Kritiker hin.