Intervista a Ben Nimmo di OpenAI

Ben Nimmo è il responsabile delle indagini del team Intelligence and Investigations di OpenAI. È uno dei massimi esperti di operazioni di influenza online, disinformazione e guerra dell’informazione, con oltre un decennio di esperienza nelle indagini su campagne legate a stati come Russia, Cina, Iran e altri attori. Prima di entrare in OpenAI, ha co-fondato il Digital Forensic Research Lab (DFRLab) presso l’Atlantic Council e ha lavorato come direttore delle indagini presso Graphika.

Elenco delle abbreviazioni

• IA – Intelligenza artificiale
• LLM – Modello linguistico di grandi dimensioni
• GAN – Rete generativa avversaria
• FIMI – Manipolazione delle informazioni e ingerenze da parte di attori stranieri
• OSINT – Intelligence da fonte aperta
• SEO – Ottimizzazione per i motori di ricerca
• DFRLab – Digital Forensic Research Lab (Laboratorio di ricerca forense digitale)

La manipolazione delle informazioni e ingerenze da parte di attori stranieri (FIMI) precedono l’intelligenza artificiale, ma i modelli linguistici di grandi dimensioni stanno ridefinendo il modo in cui le operazioni di influenza vengono elaborate, perfezionate e contrastate. Man mano che gli LLM diventano strumenti sia per i manipolatori che per gli investigatori, la lotta per l’integrità delle informazioni sta entrando in una fase più rapida e adattiva. Per questo abbiamo parlato con Ben Nimmo di OpenAI per capire cosa è veramente cambiato, cosa rimane costante e cosa conterà di più in futuro.

EUvsDisinfo:
Le operazioni di influenza non sono iniziate con l’intelligenza artificiale, ma i modelli linguistici di grandi dimensioni stanno chiaramente cambiando il modo in cui vengono condotte e investigate. Guardando a questa intersezione, quali sono secondo lei le sfide più grandi che gli LLM devono affrontare oggi, dal punto di vista tecnico, sociale e della sicurezza?

Ben Nimmo:
In OpenAI, pensiamo alla tecnologia in modo end-to-end. Nessuna tecnologia esiste nel vuoto. Quando consideriamo i modelli linguistici di grandi dimensioni, ci chiediamo come si inseriscono nel panorama più ampio delle operazioni di influenza, che esistevano da molto prima degli LLM.

Ogni volta che emerge una nuova tecnologia, c’è un periodo di adattamento e apprendimento: come verrà utilizzata, come gli autori delle minacce cercheranno di abusarne e come i difensori potranno reagire. Con i chatbot e gli LLM, ci troviamo proprio in questa fase.

Un confronto utile arriva dal 2019, prima dei chatbot basati sull’IA, quando le reti generative avversarie (GAN) venivano utilizzate per creare foto profilo false. Ho condotto la prima indagine open source su una vasta rete di account falsi sui social media che utilizzavano volti generati dalle GAN.

Inizialmente, questo sembrava preoccupante perché gli investigatori non potevano più usare la ricerca inversa di immagini per individuare foto rubate. Ma abbiamo scoperto rapidamente che le immagini GAN avevano caratteristiche altamente distintive. Ad esempio, gli occhi erano sempre allineati nello stesso punto in tutte le immagini. Un collega ha persino sviluppato uno strumento per rilevare i volti generati da GAN su larga scala.

Quello che sembrava un vantaggio per gli autori delle minacce è diventato un vantaggio per i difensori. Questo dimostra perché è importante pubblicare i risultati delle indagini. In OpenAI pubblichiamo rapporti sulle minacce relative all’uso improprio dei nostri modelli per operazioni di influenza, truffe, crimini informatici e repressione autoritaria. Lo facciamo da quasi due anni per sostenere l’apprendimento collettivo e l’adattamento.

EUvsDisinfo:
Sembra una competizione continua tra chi crea contenuti ingannevoli e chi li rileva.

Ben Nimmo:
Esattamente. Ciò che osserviamo è un’evoluzione, non una rivoluzione. Gli autori delle minacce tendono a integrare l’IA nei flussi di lavoro esistenti invece di crearne di completamente nuovi.

Ad esempio, è possibile generare un articolo convincente con l’IA, ma senza una rete di distribuzione non raggiunge nessuno. L’infrastruttura di base delle operazioni di influenza rimane quindi invariata.

Abbiamo osservato operazioni russe e cinesi che utilizzano ChatGPT per migliorare il loro inglese ed evitare errori grammaticali che un tempo li rendevano facilmente individuabili. Tuttavia, eliminare una serie di errori spesso ne introduce altri.

All’inizio del 2024, abbiamo interrotto un’operazione di influenza russa che chiamiamo Bad Grammar (Errori di grammatica). Utilizzavano ChatGPT per generare un inglese coerente con i diversi dialetti per personaggi falsi. Tuttavia, un post su Telegram ha pubblicato per errore il messaggio di rifiuto del modello, che diceva, più o meno:

“In quanto modello linguistico basato sull’intelligenza artificiale, non posso fornirti un commento con la voce di Ethan Goldstein, un ebreo di 57 anni”.

Quel singolo errore ha rivelato l’uso dell’intelligenza artificiale, la mancanza di revisione e il tentativo di impersonificazione.

Il nostro compito come investigatori è comprendere questi flussi di lavoro, identificarne i punti deboli e interromperli. È fondamentale condividere i risultati tra le diverse piattaforme. Alla fine del 2024, ad esempio, abbiamo smantellato una rete di truffatori che utilizzava ChatGPT. Meta ha indagato sugli account Facebook correlati, ha identificato i centri di truffa in Cambogia e ha condiviso con noi i risultati, consentendo ulteriori interventi di contrasto.

EUvsDisinfo:
In che modo l’IA vi aiuta a indagare su queste operazioni?

Ben Nimmo:
Devo essere prudente sui dettagli, ma in linea di massima l’IA eccelle nell’analisi su larga scala, nel riconoscimento dei modelli e nella traduzione.

All’inizio della mia carriera, passavo ore ad analizzare manualmente gli account sui social media, contando i tipi di post, l’uso della lingua e i comportamenti. Oggi, gli stessi processi analitici possono essere eseguiti circa 100 volte più velocemente utilizzando l’IA.

Continuiamo sempre a coinvolgere gli esseri umani per verificare i risultati, ma l’IA ha davvero rivoluzionato il nostro lavoro in termini di velocità ed efficienza.

EUvsDisinfo:
Quali minacce esistono oggi che non esistevano nella prima era dei social media?

Ben Nimmo:
Anche in questo caso, parliamo di evoluzione, non di minacce completamente nuove. Uno sviluppo inaspettato è il modo in cui le persone comuni ora utilizzano l’IA in modo difensivo.

Nel nostro rapporto sulle minacce di ottobre, abbiamo scoperto che ogni mese milioni di persone chiedono a ChatGPT se un determinato messaggio SMS è una truffa. Il modello spiega perché è sospetto e cosa fare. Questo tipo di assistenza in tempo reale semplicemente non esisteva prima.

Gli strumenti di IA stanno rafforzando sempre più la capacità degli utenti di difendersi, soprattutto per quanto riguarda la prevenzione delle truffe.

EUvsDisinfo:
Quanto è reale la minaccia del cosiddetto “LLM grooming“, ovvero il tentativo da parte di soggetti ostili di influenzare ciò che i modelli apprendono?

Ben Nimmo:
“LLM grooming” è un termine nuovo, ma si riferisce a un concetto di lunga data noto come avvelenamento dei dati. Esistono numerose ricerche accademiche su questo argomento.

È fondamentale distinguere tra dati di addestramento e risultati di ricerca sul web. I modelli hanno una data limite di addestramento. Tutto ciò che viene dopo non è conoscenza interna, ma viene recuperato esternamente.

Se un modello fa riferimento a contenuti fuorvianti tramite la ricerca web, ciò non significa che il modello sia stato addestrato su di essi. Questa distinzione è spesso fraintesa.

Gli attori dell’influenza hanno cercato a lungo di manipolare i risultati dei motori di ricerca inondando gli spazi informativi, sfruttando in particolare i vuoti di dati, ovvero situazioni in cui viene pubblicata attivamente una sola narrazione. Lo abbiamo visto chiaramente durante la guerra civile siriana.

Ecco perché è così importante pubblicare informazioni credibili e basate sui fatti. Se la vulnerabilità è la mancanza di contenuti affidabili, la soluzione è colmare questa lacuna.

EUvsDisinfo:
Sono apparse campagne di influenza ostili nei risultati del modello?

Ben Nimmo:

Secondo la mia esperienza, ChatGPT fa riferimento a fonti credibili come EUvsDisinfo molto più spesso che a operazioni di influenza occulte.

Uno studio sottoposto a revisione tra pari su quattro diversi chatbot pubblicato su Harvard Misinformation Review ha rilevato che i chatbot facevano riferimento solo occasionalmente a siti web di disinformazione legati al Cremlino e che, più che il risultato di un “LLM grooming”, quei casi erano probabilmente dovuti a vuoti di dati.

Ciò non significa che il rischio non esista. Il nostro compito è monitorarlo continuamente e reagire rapidamente se dovesse presentarsi.

EUvsDisinfo:
In che modo OpenAI filtra le reti di propaganda prima dell’addestramento?

Ben Nimmo:
Non posso condividere i dettagli operativi, ma questo lavoro si basa su anni di ricerca sul funzionamento delle operazioni di influenza. I domini collegati a tali operazioni sono documentati pubblicamente da diverse organizzazioni.

Internamente, OpenAI dispone di team che si occupano di qualità dei dati, pre-addestramento, post-addestramento, valutazione e red teaming. Dopo il lancio, investigatori come me monitorano i rischi emergenti e condividono i risultati internamente. Si tratta di un processo collettivo e multilivello.

EUvsDisinfo:
Può spiegare brevemente cosa si intende per “red teaming”?

Ben Nimmo:
Il red teaming prevede che dei team interni cerchino di pensare come gli avversari, verificando in che modo qualcuno potrebbe tentare di aggirare le misure di sicurezza. Identificando in anticipo i punti deboli, possiamo rafforzare le difese prima della distribuzione dei modelli.

EUvsDisinfo:
Come è cambiato il panorama delle minacce informatiche nell’ultimo decennio?

Ben Nimmo:
Le piattaforme cambiano – Instagram, TikTok e ora l’IA generativa – ma molte operazioni continuano per anni. L’operazione cinese Spamouflage, scoperta nel 2019, è ancora attiva. L’operazione russa Doppelganger, scoperta nel 2022, continua tuttora.

Il cambiamento più grande non riguarda gli autori delle minacce, ma i difensori. Nel 2014, pochissime persone lavoravano in questo ambito. Oggi ci sono numerosi team investigativi, una maggiore trasparenza e una diffusione capillare delle segnalazioni di minacce, anche da parte delle stesse aziende di IA.

Questa crescita collettiva è il cambiamento più importante.

EUvsDisinfo:
La comunità che contrasta la FIMI è abbastanza forte per rispondere?

Ben Nimmo:
La domanda chiave non è se oggi sia abbastanza forte, ma come renderla più forte in futuro.

Ciò richiede strumenti migliori, formazione, trasparenza, condivisione delle informazioni e sensibilizzazione dell’opinione pubblica. L’IA può aumentare notevolmente l’efficienza delle indagini, ma le competenze e il coordinamento sono altrettanto importanti.

EUvsDisinfo:
Su cosa dovrebbero concentrarsi i governi, i ricercatori e le aziende di IA nei prossimi cinque anni?

Ben Nimmo:
Le operazioni di influenza precedono di molto l’IA. La chiave è applicare le lezioni già apprese: segnalazioni chiare, valutazione accurata dei rischi, misurazione dell’impatto e condivisione strutturata delle informazioni.

Dobbiamo evitare di partire da zero con ogni nuova tecnologia. L’obiettivo è la continuità: portare avanti le conoscenze istituzionali man mano che il panorama tecnologico evolve.

EUvsDisinfo:
Come si può colmare il divario tra le relazioni tecniche e la comprensione pubblica?

Ben Nimmo:
Piuttosto che concentrarsi su come funziona la tecnologia, è meglio concentrarsi su come le persone la utilizzano.

Comprendere le operazioni di influenza significa comprendere l’inganno umano. Che la piattaforma sia Facebook o un modello linguistico, i comportamenti restano gli stessi. Schemi come pubblicare post in orari improbabili o imitare male le identità sono indicatori senza tempo.

Il comportamento umano cambia molto meno della tecnologia, ed è qui che può ancorarsi la comprensione pubblica.