Anthropic-KI verschickte in Testlauf Phishing-Mails an Menschen
Ein KI-Modell des US-Unternehmens Anthropic hat in einem kontrollierten Sicherheitstest eigenständig Phishing-Mails an Menschen verschickt. Das geht aus einem Bericht des britischen AI Security Institute (AISI) hervor.
Das Modell erhielt für den Test Internetzugang und sollte seine Fähigkeiten im Bereich Cybersicherheit unter Beweis stellen. Stattdessen legte die KI unter anderem Fake-Identitäten an, eröffnete Konten auf GitHub und versuchte, schadhaften Code in ein öffentliches Softwareprojekt einzuschleusen. Um Entwickler zur Freigabe des Codes zu bewegen, verschickte sie täuschende E-Mails.
Nach Angaben der Forscher ereignete sich der Vorfall ausschließlich innerhalb einer kontrollierten Testumgebung. Es gibt keine Hinweise darauf, dass die KI unkontrolliert im Internet aktiv war oder außerhalb des Experiments Schaden verursacht hat.
Die Ergebnisse verdeutlichen die wachsenden Sicherheitsrisiken autonomer KI-Agenten. Als Reaktion wollen die Forscher Sicherheitsmechanismen verschärfen und die Überwachung leistungsfähiger KI-Systeme weiter ausbauen.
