Sicherheitsforscher des Unternehmens Hacktron haben gezeigt, wie mächtig KI-Chatbots heute als Angriffswerkzeug eingesetzt werden können. Mithilfe von Anthropic's Claude entwickelten sie einen funktionierenden Exploit für eine Schwachstelle in einer Bildverarbeitungsbibliothek und verknüpften diesen mit einem Fehler im Anmeldesystem von OpenAI. Das Ergebnis: Sie konnten ChatGPT- und Codex-Accounts von OpenAI-Mitarbeitern übernehmen und gelangten so in den Zugriff auf interne Code-Repositories.
Der Einstiegspunkt war OpenAIs Community-Forum, das auf der Plattform Discourse läuft. Discourse überprüft hochgeladene Bilder auf Sicherheit – doch die eingebauten Prüfungen unterstützen das HEIC/HEIF-Bildformat nicht. Uploads in diesem Format wurden daher an ImageMagick weitergeleitet, das eine ungepatchte Schwachstelle in der libheif-Bibliothek nutzte. Die Forscher wandten dabei Claude Opus 4.8 und Opus 5 an, um den Exploit zu konstruieren. Erst nach mehreren Versuchen gelang ihnen die Entwicklung eines zuverlässigen Angriffs, der zunächst auf einem Test-Discourse-Instance, dann auf OpenAIs eigenem Forum ausgeführt wurde.
Besonders besorgniserregend: Da das Forum die Anmeldung mit dem OpenAI-Account erlaubte, öffnete die Code-Ausführung dort einen Tür zu weit mehr Zugriff. Die Forscher übernahmen einen OpenAI-Mitarbeiter-Account, dessen Codex-Integration mit OpenAIs GitHub-Organisation verknüpft war, und nutzten ihn, um einen Pull Request in ein internes Repository zu öffnen – und stoppten die Tests dann bewusst, um keine weitere Schädigung zu verursachen.
OpenAI reagierte schnell: Die Firma zog die Berechtigungen von Community-Anmelde-Token zurück und widerruf betroffene Token und Sessions. Den OpenAI-seitigen Befund meldete Hacktron über Bugcrowd, und OpenAI zahlte dafür eine Prämie von 6.500 US-Dollar. Den libheif-Fehler meldete Hacktron außerdem über HackerOne an Discourse – innerhalb von zwei Tagen gab es dort ein Fix und zusätzliche Sandboxierung für die Bildverarbeitung.
Der Vorfall ist ein Paradebeispiel für die sich verschiebende Bedrohungslandschaft: Wenn KI-Modelle effektiv dazu genutzt werden können, Exploits zu entwickeln,senkt sich die Schwelle für komplexe Cyberangriffe erheblich. Unternehmen müssen sich nicht nur gegen klassische Angriffe wappnen, sondern auch gegen Szenarien, in denen Angreifer KI-Werkzeuge als automateerde Angriffsschmiede einsetzen.
Quelle: https://www.securityweek.com/ai-built-exploit-and-sign-in-flaw-opened-path-to-internal-openai-code/