Entretien avec Ben Nimmo d’OpenAI
Ben Nimmo est responsable des investigations au sein de l’équipe Intelligence & Investigations chez OpenAI. Expert reconnu des opérations d’influence en ligne, de la désinformation et de la guerre informationnelle, il cumule plus d’une décennie d’expérience dans l’identification et l’analyse de campagnes étatiques, notamment liées à la Russie, à la Chine, à l’Iran et à d’autres acteurs internationaux. Avant de rejoindre OpenAI, il a cofondé le Digital Forensic Research Lab (DFRLab), un laboratoire spécialisé dans l’analyse médico-légale des environnements numériques, au sein de l’Atlantic Council, puis a été directeur des enquêtes chez Graphika.
Liste des abréviations
- IA – Intelligence artificielle
- LLM – Grand modèle de langage
- GAN – Réseau antagoniste génératif
- FIMI – Manipulation de l’information et d’ingérence menées depuis l’étranger
- RSO – Renseignement de source ouverte
- SEO – Optimisation pour les moteurs de recherche
- DFRLab – Laboratoire de recherche médico-légale numérique
Si les opérations de manipulation de l’information et d’ingérence menées depuis l’étranger (FIMI) sont antérieures à l’IA, les grands modèles de langage (LLM) transforment aujourd’hui profondément la façon dont ces campagnes sont conçues, optimisées et combattues. À mesure que les LLM s’imposent aussi bien chez les manipulateurs que chez les enquêteurs, la lutte pour l’intégrité de l’information s’intensifie et s’adapte constamment. Dans ce contexte, nous avons rencontré Ben Nimmo d’OpenAI pour faire la lumière sur ce qui a véritablement changé, ce qui demeure inchangé, et ce qui pourrait façonner à l’avenir.
EUvsDisinfo :
Les opérations d’influence ne datent pas de l’ère de l’IA, mais les grands modèles de langage transforment nettement la manière dont elles sont menées et analysées. Selon vous, quels sont aujourd’hui les principaux défis que posent les LLM, d’un point de vue technique, social et en matière de sécurité ?
Ben Nimmo :
Chez OpenAI, nous considérons la technologie dans son ensemble, convaincus qu’aucune innovation ne peut se développer en isolation. Pour les grands modèles de langage s’inscrivent dans un continuum d’opérations d’influence qui ne date pas de l’ère des LLM, mais qui les précède largement.
Comme toute innovation majeure, ces technologies ouvrent une période d’apprentissage : cerner leurs usages, prévoir leurs détournements potentiels et structurer les capacités de défense. Les chatbots et les LLM n’échappent pas à cette dynamique, que nous traversons actuellement.
On peut remonter à 2019 pour trouver un précédent, avant l’émergence des chatbots d’IA, lorsque les réseaux antagonistes génératifs (GAN) étaient mobilisés pour produire de faux profils. J’ai conduit la première enquête en sources ouvertes consacrée à un réseau d’ampleur utilisant ces visages artificiels.
Au départ, la situation semblait préoccupante, car les enquêteurs ne pouvaient plus recourir à la recherche d’images inversée pour retrouver les photos volées. Nous avons toutefois rapidement constaté que les images générées par GAN présentaient des caractéristiques très reconnaissables : par exemple, les yeux étaient systématiquement alignés au même endroit d’une image à l’autre. Un collègue a même développé un outil capable de détecter ces visages synthétiques à grande échelle.
Ce qui semblait d’abord constituer un avantage pour les acteurs malveillants s’est finalement transformé en atout pour les défenseurs. Cela illustre l’importance du partage de nos découvertes. Chez OpenAI, nous publions des rapports sur les menaces liées à l’utilisation abusive de nos modèles dans des opérations d’influence, des escroqueries, des activités cybercriminelles ou encore des dispositifs de répression autoritaire. Nous le faisons depuis près de deux ans afin de favoriser l’apprentissage collectif et l’adaptation.
EUvsDisinfo :
On pourrait y voir une confrontation continue entre les producteurs de désinformation et les acteurs chargés de la déceler.
Ben Nimmo :
Exactement. Nous sommes face à une évolution, plus qu’à une rupture. Les acteurs malveillants incorporent l’IA dans leurs méthodes existantes au lieu de créer de nouveaux modes opératoires.
Par exemple, l’IA peut produire un article très convaincant ; sans dispositif de diffusion, toutefois, ce contenu demeure sans effet. L’architecture fondamentale des opérations d’influence, elle, ne change pas.
Nous avons observé des opérations menées par la Russie et la Chine utilisant ChatGPT afin d’améliorer la qualité de leur anglais et d’éviter les erreurs grammaticales qui les rendaient autrefois facilement identifiables. Cependant, la correction d’un type d’erreur entraîne souvent l’apparition de nouveaux indices.
Au début de l’année 2024, nous avons déjoué une opération d’influence russe que nous avons surnommée « Bad Grammar ». Les auteurs utilisaient ChatGPT pour produire un anglais correspondant au dialecte de leurs faux profils. Toutefois, un message publié par erreur sur Telegram a révélé la réponse de refus du modèle, indiquant :
« En tant que modèle de langage IA, je ne peux pas formuler de commentaire au nom d’Ethan Goldstein, un homme juif de 57 ans. »
Cette unique erreur a mis en évidence l’usage de l’IA, l’absence de relecture et la tentative d’usurpation d’identité.
Notre mission en tant qu’enquêteurs, consiste à comprendre ces flux de travail, à en identifier les points faibles et à les perturber. Le partage des découvertes entre plateformes est crucial. À la fin de l’année 2024, par exemple, nous avons démantelé un réseau d’arnaques utilisant ChatGPT. Meta a enquêté sur les comptes Facebook concernés, identifié des centres d’escroquerie au Cambodge et nous a transmis ses conclusions, ce qui a permis de poursuivre efficacement l’action de perturbation.
EUvsDisinfo :
De quelle manière l’IA facilite-t-elle vos enquêtes sur ces opérations ?
Ben Nimmo :
Je dois rester prudent sur les détails, mais, de manière générale, l’IA s’avère particulièrement efficace pour l’analyse à grande échelle, la détection de schémas et la traduction.
Au début de ma carrière, j’analysais manuellement pendant des heures des comptes sur les réseaux sociaux, en examinant les types de publications, les usages linguistiques et les comportements. Aujourd’hui, ces mêmes analyses peuvent être réalisées environ cent fois plus rapidement grâce à l’IA.
Nous veillons toujours à ce que des humains vérifient les résultats, mais l’IA représente un véritable bouleversement en termes de rapidité et d’efficacité.
EUvsDisinfo :
Quelles sont les menaces actuelles qui n’existaient pas à l’époque des premiers réseaux sociaux ?
Ben Nimmo :
Là encore, il s’agit davantage d’une évolution que de l’apparition de menaces totalement nouvelles. Une évolution inattendue réside dans la manière dont des personnes ordinaires utilisent désormais l’IA à des fins défensives.
Dans notre rapport sur les menaces d’octobre, nous avons constaté que des millions de personnes consultent chaque mois ChatGPT pour savoir si un SMS est une arnaque. Le modèle explique pourquoi le message est suspect et quelles démarches entreprendre. Ce type d’assistance en temps réel n’existait tout simplement pas auparavant.
Les outils d’IA offrent ainsi aux utilisateurs un véritable renforcement de leurs capacités, notamment en matière de prévention des arnaques.
EUvsDisinfo :
Dans quelle mesure la menace du « LLM grooming » – lorsque des acteurs malveillants cherchent à influencer l’apprentissage des modèles – est-elle réelle ?
Ben Nimmo :
Le terme « LLM grooming » est récent, mais il renvoie à un concept ancien : l’empoisonnement des données, largement étudié dans la recherche académique.
Il est crucial de distinguer les données d’entraînement des résultats de recherche sur le web. Les modèles ont une date limite d’entraînement : tout ce qui se produit après cette date ne fait pas partie de leurs connaissances internes et doit être récupéré de sources externes.
Lorsqu’un modèle cite un contenu trompeur obtenu via une recherche sur le web, cela ne signifie pas qu’il a été entraîné sur ce contenu. Cette distinction est souvent mal comprise.
Les acteurs d’influence tentent depuis longtemps de manipuler les résultats de recherche en saturant certains espaces d’information, en exploitant particulièrement les « zones de données vides », c’est-à-dire les situations où un seul récit domine. Ce phénomène a été particulièrement visible lors de la guerre civile syrienne.
C’est pourquoi il est essentiel de diffuser des informations crédibles et factuelles. Lorsqu’une vulnérabilité réside dans l’absence de contenu fiable, la solution consiste à combler ce manque.
EUvsDisinfo :
Des campagnes d’influence hostiles se sont-elles manifestées dans les réponses des modèles ?
Ben Nimmo :
D’après mon expérience, ChatGPT cite beaucoup plus souvent des sources crédibles, comme EUvsDisinfo, que des contenus issus d’opérations d’influence secrètes.
Une étude évaluée par des pairs, portant sur quatre chatbots différents et publiée dans la Harvard Misinformation Review, a révélé que ces chatbots ne renvoyaient que rarement vers des sites de désinformation liés au Kremlin. De plus, ces rares occurrences ne résultaient pas d’un « LLM grooming », mais reflétaient probablement des zones de données vides.
Cela ne signifie pas que le risque est nul. Notre mission consiste à le surveiller en permanence et à intervenir rapidement si nécessaire.
EUvsDisinfo :
Comment OpenAI identifie-t-il et élimine-t-il les réseaux de propagande avant l’entraînement des modèles ?
Ben Nimmo :
Je ne peux pas divulguer les détails opérationnels, mais cette approche repose sur des années de recherche sur le fonctionnement des opérations d’influence. Les domaines concernés par ces opérations sont largement documentés par de nombreuses organisations.
En interne, OpenAI dispose d’équipes spécialisées dans la qualité des données, la formation préliminaire et postérieure, l’évaluation, ainsi que le « red teaming ». Après le lancement, des enquêteurs comme moi surveillent les risques émergents et partagent leurs conclusions en interne. Il s’agit d’un processus collectif, organisé à plusieurs niveaux.
EUvsDisinfo :
Pouvez-vous expliquer brièvement en quoi consiste le « red teaming » ?
Ben Nimmo :
Le « red teaming » consiste à mobiliser des équipes internes qui adoptent la perspective des adversaires, en testant les différentes manières de contourner les dispositifs de sécurité. En identifiant ces faiblesses en amont, nous pouvons renforcer les défenses avant le déploiement.
EUvsDisinfo :
Comment le paysage des menaces liées aux opérations d’influence a-t-il évolué au cours de la dernière décennie ?
Ben Nimmo :
Les plateformes évoluent – Instagram, TikTok et maintenant l’IA générative – mais de nombreuses opérations perdurent pendant des années. L’opération chinoise Spamouflage, révélée en 2019, reste active, tout comme l’opération russe Doppelganger, dévoilée en 2022.
Le plus grand changement ne concerne pas les acteurs malveillants, mais les défenseurs. En 2014, très peu de personnes étaient mobilisées sur ces enjeux. Aujourd’hui, de nombreuses équipes d’investigation sont actives, la transparence s’est accrue et les rapports sur les menaces se multiplient – y compris ceux publiés par les entreprises d’IA elles-mêmes.
Cette dynamique collective constitue la transformation la plus significative.
EUvsDisinfo :
La communauté chargée de contrer les opérations FIMI dispose-t-elle de moyens suffisants pour y faire face ?
Ben Nimmo :
La question clé n’est pas de savoir si la communauté est assez solide aujourd’hui, mais comment la rendre plus efficace demain.
Cela passe par de meilleurs outils, une formation renforcée, davantage de transparence, le partage d’information et la sensibilisation du public. L’IA peut considérablement accroître l’efficacité des enquêtes, mais les compétences humaines et la coordination restent tout aussi essentielles.
EUvsDisinfo :
Quelles priorités devraient adopter les gouvernements, les chercheurs et les entreprises d’IA pour les cinq prochaines années ?
Ben Nimmo :
Les opérations d’influence existaient bien avant l’IA. L’essentiel est de tirer parti des enseignements déjà acquis : produire des rapports clairs, évaluer rigoureusement les risques, mesurer l’impact et partager les informations de manière structurée.
Il est crucial de ne pas repartir de zéro à chaque nouvelle technologie. L’objectif est d’assurer la continuité en préservant le savoir institutionnel au fur et à mesure que le paysage technologique évolue.
EUvsDisinfo :
Comment faites-vous le lien entre les rapports techniques et la compréhension du public ?
Ben Nimmo :
Plutôt que de se focaliser sur le fonctionnement de la technologie, il est essentiel de s’intéresser à la manière dont elle est utilisée par les individus.
Comprendre les opérations d’influence, c’est avant tout comprendre la tromperie humaine. Que la plateforme soit Facebook ou un modèle de langage, les comportements restent similaires. Des tactiques telles que la publication à des heures improbables ou l’imitation maladroite d’identités constituent des indicateurs intemporels.
Le comportement humain évolue bien plus lentement que la technologie – et c’est sur ce point que la compréhension du public peut s’ancrer.
