Interview mit Ben Nimmo von OpenAI

Ben Nimmo ist leitender Forscher im Team für Nachrichtendienst und Ermittlungen bei OpenAI. Er ist ein führender Experte für Online-Einflussoperationen, Desinformation und Informationskriegsführung und verfügt über mehr als ein Jahrzehnt Erfahrung in der Untersuchung staatlich unterstützter Kampagnen aus Russland, China, Iran und anderen Ländern. Vor seinem Wechsel zu OpenAI war er Mitbegründer des Digital Forensic Research Lab (DFRLab) beim Atlantic Council und Director of Investigations bei Graphika.

Liste der Abkürzungen

• KI – Künstliche Intelligenz
• LLM – Großes Sprachmodell
• GAN – Generatives adversariales Netzwerk
• FIMI – Ausländische Informationsmanipulation und Einmischung
• OSINT – Open-Source-Intelligence
• SEO – Suchmaschinenoptimierung
• DFRLab – Digital Forensic Research Lab

Ausländische Informationsmanipulation und Einmischung (FIMI) gab es schon vor der KI, doch große Sprachmodelle verändern die Art und Weise, wie Einflussoperationen entworfen, verfeinert und bekämpft werden. Da LLMs sowohl von Manipulatoren als auch von Ermittlern genutzt werden, tritt der Kampf um die Integrität von Informationen in eine schnellere und anpassungsfähigere Phase ein. Deshalb haben wir mit Ben Nimmo von OpenAI gesprochen, um zu verstehen, was sich wirklich verändert hat, was gleich geblieben ist und was in Zukunft entscheidend sein wird.

EUvsDisinfo:
Einflussoperationen gab es schon vor der KI, aber große Sprachmodelle verändern eindeutig die Art und Weise, wie sie durchgeführt und untersucht werden. Wenn Sie sich diesen Schnittpunkt ansehen, was sind Ihrer Meinung nach die größten Herausforderungen, denen LLMs heute gegenüberstehen – technisch, sozial und in Bezug auf die Sicherheit?

Ben Nimmo:
Bei OpenAI betrachten wir Technologie ganzheitlich. Keine Technologie existiert in einem luftleeren Raum. Wenn wir uns mit großen Sprachmodellen befassen, fragen wir uns, wie sie in das Gesamtbild von Einflussoperationen passen, die es schon lange vor LLMs gab.

Immer wenn eine neue Technologie aufkommt, gibt es eine Phase der Anpassung und des Lernens: Wie wird sie eingesetzt, wie werden Bedrohungsakteure versuchen, sie zu missbrauchen, und wie können Verteidiger darauf reagieren? Bei Chatbots und LLMs befinden wir uns derzeit in dieser Phase.

Ein hilfreicher Vergleich stammt aus dem Jahr 2019, also noch vor dem Aufkommen von KI-Chatbots, als generative adversariale Netzwerke (GANs) zur Erstellung gefälschter Profilbilder verwendet wurden. Ich leitete damals die erste Open-Source-Untersuchung eines großen Netzwerks gefälschter Social-Media-Konten mit GAN-generierten Gesichtern.

Anfangs schien dies besorgniserregend, weil Ermittler gestohlene Fotos nicht mehr per Bildersuche zurückverfolgen konnten. Wir stellten jedoch schnell fest, dass GAN-Bilder sehr charakteristische Merkmale aufwiesen. Beispielsweise befanden sich die Augen auf allen Bildern immer an derselben Stelle. Ein Kollege entwickelte sogar ein Tool, um GAN-Gesichter in großem Umfang zu erkennen.

Was zunächst wie ein Vorteil für die Bedrohungsakteure aussah, wurde zu einem Vorteil für die Verteidiger. Das zeigt, warum die Veröffentlichung von Erkenntnissen wichtig ist. Bei OpenAI veröffentlichen wir Bedrohungsberichte darüber, wie unsere Modelle für Einflussoperationen, Betrug, Cyberkriminalität und autoritäre Unterdrückung missbraucht werden. Wir tun dies seit fast zwei Jahren, um kollektives Lernen und Anpassung zu fördern.

EUvsDisinfo:
Das klingt nach einem andauernden Wettstreit zwischen denen, die irreführende Inhalte erstellen, und denen, die sie aufdecken.

Ben Nimmo:
Genau. Was wir sehen, ist eher eine Evolution als eine Revolution. Bedrohungsakteure integrieren KI meist in bestehende Arbeitsabläufe, anstatt völlig neue zu entwickeln.

Man kann beispielsweise mit KI einen überzeugenden Artikel erstellen, aber ohne ein Vertriebsnetz erreicht er niemanden. Die Kerninfrastruktur von Einflussoperationen bleibt daher unverändert.

Wir haben beobachtet, dass russische und chinesische Akteure ChatGPT nutzen, um ihr Englisch zu verbessern und Grammatikfehler zu vermeiden, durch die sie früher leicht zu erkennen waren. Doch wenn eine Fehlerquelle verschwindet, entstehen oft neue.

Anfang 2024 haben wir eine russische Einflussoperation namens „Bad Grammar” unterbrochen. Die Akteure nutzten ChatGPT, um dialektgerechtes Englisch für gefälschte Identitäten zu generieren. In einem Telegram-Beitrag wurde jedoch versehentlich die Ablehnungsmeldung des Modells veröffentlicht, die sinngemäß lautete:

„Als KI-Sprachmodell kann ich Ihnen keinen Kommentar in der Stimme von Ethan Goldstein, einem 57-jährigen Juden, geben.“

Dieser einzelne Fehler enthüllte den Einsatz von KI, das Fehlen einer Korrekturlesung und den Versuch der Identitätsfälschung.

Unsere Aufgabe als Ermittler besteht darin, diese Arbeitsabläufe zu verstehen, ihre Schwachstellen zu identifizieren und sie zu unterbrechen. Der Austausch von Erkenntnissen über Plattformen hinweg ist dabei unerlässlich. Ende 2024 haben wir beispielsweise ein Betrugsnetzwerk zerschlagen, das ChatGPT einsetzte. Meta untersuchte verbundene Facebook-Konten, identifizierte Betrugszentren in Kambodscha und teilte die Ergebnisse mit uns, sodass wir weitere Maßnahmen ergreifen konnten.

EUvsDisinfo:
Wie hilft Ihnen KI bei der Untersuchung dieser Vorgänge?

Ben Nimmo:
Ich kann nicht ins Detail gehen, aber allgemein gesagt ist KI hervorragend für groß angelegte Analysen, Mustererkennung und Übersetzungen geeignet.

Zu Beginn meiner Laufbahn habe ich Stunden damit verbracht, Social-Media-Konten manuell zu analysieren – und dafür Beitragstypen, Sprachgebrauch und Verhalten gezählt. Heute können dieselben Analyseprozesse mit KI etwa hundertmal schneller durchgeführt werden.

Menschen bleiben im Prozess eingebunden, um Ergebnisse zu verifizieren. Doch hinsichtlich Geschwindigkeit und Effizienz war KI tatsächlich ein Wendepunkt.

EUvsDisinfo:
Welche Gefahren existieren heute, die es in der früheren Social-Media-Ära noch nicht gab?

Ben Nimmo:
Auch hier sehen wir eher eine Weiterentwicklung als völlig neue Bedrohungen. Eine unerwartete Entwicklung ist, wie normale Nutzer KI defensiv einsetzen.

In unserem Bedrohungsbericht vom Oktober haben wir festgestellt, dass jeden Monat Millionen von Menschen ChatGPT fragen, ob eine SMS-Nachricht ein Betrugsversuch ist. Das Modell erklärt, warum sie verdächtig ist und was als Nächstes zu tun ist. Diese Art von Echtzeit-Unterstützung gab es früher einfach nicht.

KI-Tools stärken zunehmend die Nutzer, insbesondere im Bereich der Betrugsbekämpfung.

EUvsDisinfo:
Wie real ist die Gefahr von „LLM-Grooming“, bei dem feindliche Akteure versuchen, das Lernen von Modellen zu beeinflussen?

Ben Nimmo:
„LLM-Grooming“ ist ein neuer Begriff, knüpft aber an das bekannte Konzept des Data Poisoning an. Dazu existiert umfangreiche wissenschaftliche Forschung.

Entscheidend ist die Unterscheidung zwischen Trainingsdaten und Web-Suchergebnissen. Modelle haben ein Trainings-Enddatum. Alles, was danach kommt, ist kein internes Wissen, sondern wird extern abgerufen.

Wenn ein Modell über eine Websuche auf irreführende Inhalte verweist, bedeutet das nicht, dass es darauf trainiert wurde. Diese Unterscheidung wird häufig missverstanden.

Einflussakteure versuchen seit Langem, Suchergebnisse zu manipulieren, indem sie Informationsräume überfluten – insbesondere in sogenannten „Datenlücken“, also Situationen, in denen nur ein Narrativ aktiv verbreitet wird. Das zeigte sich deutlich im syrischen Bürgerkrieg.

Deshalb ist die Veröffentlichung glaubwürdiger, faktenbasierter Informationen so wichtig. Wenn das Problem fehlende verlässliche Inhalte sind, besteht die Lösung darin, diese Lücke zu schließen.

EUvsDisinfo:
Sind feindselige Einflusskampagnen in Modellergebnissen aufgetaucht?

Ben Nimmo:
Meiner Erfahrung nach verweist ChatGPT weitaus häufiger auf glaubwürdige Quellen wie EUvsDisinfo als auf verdeckte Einflussoperationen.

Eine peer-reviewte Studie in der Harvard Misinformation Review zu vier Chatbots zeigte, dass diese nur gelegentlich auf kremlnahe Desinformationsseiten verwiesen – und wenn, dann wahrscheinlich als Folge von Datenlücken und nicht von „LLM-Grooming“. Das bedeutet nicht, dass das Risiko nicht besteht. Unsere Aufgabe ist es, es kontinuierlich zu überwachen und schnell zu reagieren, wenn es auftritt.

EUvsDisinfo:
Wie filtert OpenAI Propagandanetzwerke vor dem Training heraus?

Ben Nimmo:
Ich kann keine operativen Details preisgeben, aber dies basiert auf jahrelanger Forschung darüber, wie Einflussoperationen funktionieren. Domains, die mit solchen Operationen in Verbindung stehen, sind von mehreren Organisationen öffentlich dokumentiert.

Intern verfügt OpenAI über Teams für Datenqualität, Vortraining, Nachtraining, Evaluation und Red Teaming. Nach der Veröffentlichung überwachen Ermittler wie ich neue Risiken und teilen Erkenntnisse intern. Es handelt sich um einen mehrschichtigen, kollektiven Prozess.

EUvsDisinfo:
Können Sie kurz erklären, was „Red Teaming” ist?

Ben Nimmo:
Beim Red Teaming versuchen interne Teams, wie Angreifer zu denken – sie testen, wie Sicherheitsmechanismen umgangen werden könnten. Werden Schwachstellen früh erkannt, lassen sich Schutzmaßnahmen vor dem Einsatz verbessern.

EUvsDisinfo:
Wie hat sich die Bedrohungslage in den letzten zehn Jahren verändert?

Ben Nimmo:
Plattformen ändern sich – Instagram, TikTok und jetzt generative KI –, aber viele Operationen bestehen seit Jahren. Die chinesische Operation Spamouflage, die 2019 aufgedeckt wurde, ist immer noch aktiv. Die russische Operation Doppelganger, die 2022 aufgedeckt wurde, läuft ebenfalls weiter.

Die größte Veränderung betrifft nicht die Bedrohungsakteure, sondern die Verteidiger. 2014 beschäftigten sich nur sehr wenige Menschen mit diesem Thema. Heute gibt es zahlreiche Untersuchungsteams, zunehmende Transparenz und umfassende Bedrohungsberichte – auch von KI-Unternehmen selbst.

Dieses kollektive Wachstum ist die wichtigste Entwicklung.

EUvsDisinfo:
Ist die Community zur Bekämpfung von FIMI stark genug, um darauf zu reagieren?

Ben Nimmo:
Die entscheidende Frage ist nicht, ob sie heute stark genug ist, sondern wie wir sie morgen stärken.

Dazu gehören bessere Werkzeuge, Schulungen, Transparenz, Informationsaustausch und Sensibilisierung der Öffentlichkeit. KI kann die Effizienz von Ermittlungen erheblich steigern, aber Fähigkeiten und Koordination sind ebenso wichtig.

EUvsDisinfo:
Worauf sollten sich Regierungen, Forscher und KI-Unternehmen in den nächsten fünf Jahren konzentrieren?

Ben Nimmo:
Einflussoperationen gibt es schon lange vor der KI. Entscheidend ist, bereits gewonnene Erkenntnisse anzuwenden: klare Berichterstattung, präzise Risikobewertung, Wirkungsmessung und strukturierter Informationsaustausch.

Wir dürfen nicht mit jeder neuen Technologie wieder bei Null beginnen. Es geht um Kontinuität – darum, institutionelles Wissen mit dem technologischen Wandel mitzunehmen.

EUvsDisinfo:
Wie überbrücken Sie die Lücke zwischen technischen Berichten und öffentlichem Verständnis?

Ben Nimmo:
Man sollte sich weniger darauf konzentrieren, wie Technologie funktioniert, sondern darauf, wie Menschen sie nutzen.

Wer Einflussoperationen verstehen will, muss menschliche Täuschung verstehen. Ob Facebook oder Sprachmodell: Die Verhaltensmuster bleiben erstaunlich konstant. Unplausible Postingzeiten oder schlecht nachgeahmte Identitäten sind zeitlose Indikatoren.

Menschliches Verhalten verändert sich weit weniger als Technologie – und genau dort kann öffentliches Verständnis ansetzen.