Ein gravierender Vorfall beim US-Militär verdeutlicht die potenziell katastrophalen Folgen eines unkritischen Einsatzes von KI-Systemen im Verteidigungssektor. Wie ein Bericht des US-Nachrichtenders CNN aufdeckte, erstellte ein Analyst des US Special Operations Command Pacific mithilfe eines KI-Chatbots einen Geheimdienstbericht, der fälschlicherweise den Transport von Komponenten für ein Nuklearwaffenprogramm auf einem chinesischen Handelsschiff behauptete.
Auf Basis dieser halluzinierten Informationen bereitete die US-Militärführung umgehend eine Abfangoperation im Pazifik vor. Bewaffnete Spezialkräfte standen bereit, das Schiff zu entern, während bereits Militärflugzeuge zur Unterstützung in der Luft waren. Erst unmittelbar vor Beginn der Execution überprüften vorgesetzte Offiziere das Dokument genauer und stellten fest, dass der beunruhigende Befund vollständig auf einer Fehlinterpretation der KI basierte.
Der Vorfall zeigt, wie rasch automatisierte Analysen gefährliche Eigendynamiken entwickeln können. Der Analyst hatte den Chatbot mit Frachtlisten und öffentlich zugänglichen Informationen gefüttert, woraufhin die KI geheime Signaldaten fehlerhaft verknüpfte und eine nukleare Bedrohung erfand. Anschließend nutzte der Mitarbeiter die KI erneut, um das Ergebnis in das militärische Standardformat für Berichte zu fassen.
Sicherheitsforscher und Militärexperten warnen seit Langem vor dem Einsatz generativer KI in kritischen Entscheidungs- und Analyseprozessen. Zwar arbeiten Streitkräfte weltweit intensiv an der Integration von KI zur Datenanalyse, doch der Beinahe-Zusammenstoß verdeutlicht eindringlich, dass menschliche Kontrollinstanzen unverzichtbar bleiben, um folgenschwere Fehleinschätzungen zu verhindern.