Wywiad z Benem Nimmo z OpenAI

Ben Nimmo jest Głównym Badaczem w Zespole ds. Wywiadu i Dochodzeń w OpenAI. Jest wiodącym ekspertem w dziedzinie internetowych operacji wpływu, dezinformacji i wojny informacyjnej, z ponad dziesięcioletnim doświadczeniem w badaniu kampanii powiązanych z rządami, prowadzonymi przez Rosję, Chiny, Iran i inne podmioty. Zanim dołączył do OpenAI, był współzałożycielem Digital Forensic Research Lab (DFRLab) w Atlantic Council i pełnił funkcję Dyrektora ds. Śledztw w Graphika.

Lista skrótów

• AI – sztuczna inteligencja
• LLM – duży model językowy
• GAN – generatywna sieć przeciwstawna
• FIMI – zagraniczna manipulacja informacjami i ingerencja w informacje
• OSINT –wywiad prowadzony w oparciu o źródła jawne
• SEO – optymalizacja dla wyszukiwarek internetowych
• DFRLab – laboratorium cyfrowych badań kryminalistycznych

Zagraniczna manipulacja informacjami i ingerencja w informacje (FIMI) wyprzedza erę sztucznej inteligencji, jednak duże modele językowe zmieniają sposób, w jaki tworzone i udoskonalane są operacje wywierania wpływu, oraz to, jak się im przeciwdziała. Ponieważ modele LLM stają się narzędziami zarówno dla manipulatorów, jak i badaczy i śledczych, walka o spójność informacji wkracza w szybszą, bardziej adaptacyjną fazę. Dlatego rozmawialiśmy z Benem Nimmo z OpenAI, aby zrozumieć, co się naprawdę zmieniło, co pozostaje niezmienne i co będzie miało największe znaczenie w przyszłości.

EUvsDisinfo:
Operacje wywierania wpływu nie rozpoczęły się wraz z pojawieniem się sztucznej inteligencji, ale duże modele językowe wyraźnie zmieniają sposób, w jaki są przeprowadzane i badane. Patrząc na to przecięcie, jakie są Pana zdaniem największe wyzwania stojące obecnie przed LLM – pod względem technicznym, społecznym i bezpieczeństwa?

Ben Nimmo:
W OpenAI myślimy o technologii w sposób kompleksowy. Żadna technologia nie istnieje w próżni. Rozważając duże modele językowe, zadajemy sobie pytanie, jak wpisują się one w szerszy kontekst operacji wpływu, które istniały na długo przed ich pojawieniem się.

Każda nowa technologia przechodzi przez okres dostosowywania się i nauki: jak będzie ona wykorzystywana, jak osoby stanowiące zagrożenie będą próbowały jej nadużywać i jak mogą na to zareagować osoby odpowiedzialne za ochronę. W przypadku chatbotów i LLM znajdujemy się obecnie w tej fazie.

Przydatne porównanie pochodzi z 2019 r., czasów sprzed chatbotów AI, kiedy to generatywne sieci przeciwstawne (GAN) były wykorzystywane do tworzenia fałszywych zdjęć profilowych. Kierowałem pierwszym otwartym śledztwem dotyczącym dużej sieci fałszywych kont w mediach społecznościowych, wykorzystujących twarze wygenerowane przez GAN.

Początkowo wydawało się to niepokojące, ponieważ śledczy nie mogli wyszukiwać skradzionych zdjęć za pomocą funkcji odwrotnego wyszukiwania obrazów. Szybko jednak odkryliśmy, że obrazy GAN były bardzo charakterystyczne. Na przykład oczy zawsze były umieszczone w tym samym miejscu na wszystkich zdjęciach. Jeden z moich współpracowników opracował nawet narzędzie do wykrywania generowanych twarzy na szeroką skalę.

To, co wydawało się stanowić o przewadze oszustów stanowiących zagrożenie, dawało ostatecznie przewagą osobom zapewniającym obronę przed oszustwami. To pokazuje, dlaczego publikowanie wyników badań ma znaczenie. W OpenAI publikujemy raporty dotyczące zagrożeń związanych z nadużywaniem naszych modeli do operacji wpływu, oszustw, cyberprzestępczości i represji rządów autorytarnych. Robimy to od prawie dwóch lat, aby wspierać zbiorowe uczenie się i adaptację.

EUvsDisinfo:
Brzmi to jak ciągła rywalizacja między twórcami fałszywych treści a osobami, które je demaskują.

Ben Nimmo:
Dokładnie. Obserwujemy raczej ewolucję niż rewolucję. Osoby stanowiące zagrożenie raczej włączają sztuczną inteligencję do działających już systemów, zamiast tworzyć zupełnie nowe.

Na przykład, za pomocą sztucznej inteligencji można wygenerować przekonujący artykuł, ale bez sieci dystrybucji nie dotrze on do nikogo. Tak więc podstawowa infrastruktura operacji wywierania wpływu pozostaje niezmieniona.

Obserwowaliśmy działania rosyjskie i chińskie z wykorzystaniem ChatGPT w celu poprawy brzmienia angielskiego i uniknięcia błędów gramatycznych, które kiedyś były łatwe do wykrycia. Jednak usunięcie jednego zestawu błędów często powoduje pojawienie się innych.

Na początku 2024 r. udaremniliśmy rosyjską operację wpływu, którą nazwaliśmy „Bad Grammar” (“Kiepska Gramatyka”). Wykorzystywali oni ChatGPT do generowania dialektów języka angielskiego odpowiedniego dla fałszywych osób. Jednak w jednym z postów na Telegramie przypadkowo opublikowano komunikat o odmowie modelu, zawierający następujące słowa:

„Jako model językowy AI nie mogę udzielić komentarza głosem Ethana Goldsteina, 57-letniego Żyda”.

Ten jeden błąd ujawnił wykorzystanie sztucznej inteligencji, brak korekty i próbę podszywania się pod inną osobę.

Naszym zadaniem jako śledczych jest zrozumienie tych procesów, znalezienie ich słabych punktów i zakłócenie ich działania. Niezbędna jest wymiana informacji między platformami. Na przykład, pod koniec 2024 r. zlikwidowaliśmy sieć oszustów korzystającą z ChatGPT. Meta zbadała powiązane konta na Facebooku, zidentyfikowała centra oszustów w Kambodży i przekazała nam wyniki swoich badań, co pozwoliło na dalsze działania.

EUvsDisinfo:
W jaki sposób sztuczna inteligencja pomaga wam w prowadzeniu dochodzeń?

Ben Nimmo:
Muszę być ostrożny w podawaniu szczegółów, ale ogólnie rzecz biorąc, sztuczna inteligencja doskonale sprawdza się w analizach na dużą skalę, rozpoznawaniu wzorców i tłumaczeniu.

Na początku mojej kariery spędzałem godziny analizując własnoręcznie konta w mediach społecznościowych – licząc rodzaje postów, użyty język i powtarzające się zachowania. Dzisiaj te same procesy analityczne można wykonać około 100 razy szybciej dzięki sztucznej inteligencji.

Zawsze angażujemy ludzi do weryfikacji wyników, ale sztuczna inteligencja naprawdę zmieniła zasady gry pod względem szybkości i wydajności.

EUvsDisinfo:
Jakie zagrożenia istnieją obecnie, a nie istniały we wcześniejszej erze mediów społecznościowych?

Ben Nimmo:
Ponownie widzimy raczej ewolucję niż całkowicie nowe zagrożenia. Nieoczekiwanym zjawiskiem jest to, jak zwykli ludzie wykorzystują obecnie sztuczną inteligencję do obrony.

W naszym październikowym raporcie dotyczącym zagrożeń odkryliśmy, że każdego miesiąca miliony ludzi pytają ChatGPT, czy dana wiadomość SMS jest oszustwem. Model wyjaśnia, dlaczego jest ona podejrzana i co należy zrobić w takiej sytuacji. Tego rodzaju pomoc w czasie rzeczywistym po prostu nie istniała wcześniej.

Narzędzia AI w coraz większym stopniu wzmacniają pozycję użytkowników, zwłaszcza w zakresie zapobiegania oszustwom.

EUvsDisinfo:
Jak realne jest zagrożenie związane z „groomingiem LLM”, czyli próbami wpływania przez wrogie podmioty na to, czego uczą się modele?

Ben Nimmo:
„Grooming LLM” to nowy termin, ale odnosi się do istniejącej od dawna koncepcji znanej jako zatruwanie danych. Istnieje wiele badań naukowych na ten temat.

Kluczowe w tym przypadku jest odróżnienie danych treningowych od wyników wyszukiwania w internecie. Modele mają datę graniczną dla treningu. Wszystko, co pojawia się po tej dacie, nie jest wiedzą wewnętrzną, lecz jest pobierane z zewnątrz.

Jeśli model odwołuje się do wprowadzających w błąd treści za pośrednictwem wyszukiwania w sieci, nie oznacza to, że został na nich przeszkolony. To rozróżnienie jest często źle rozumiane.

Podmioty wywierające wpływ od dawna próbują manipulować wynikami wyszukiwań, zalewając przestrzeń informacyjną, zwłaszcza wykorzystując luki w danych – sytuacje, w których aktywnie publikowana jest tylko jedna narracja. Wyraźnie widzieliśmy to podczas wojny domowej w Syrii.

Dlatego tak ważne jest publikowanie wiarygodnych informacji opartych na faktach. Jeśli słabym punktem jest brak wiarygodnych treści, rozwiązaniem jest wypełnienie tej luki.

EUvsDisinfo:
Czy w wynikach modelu pojawiły się wrogie kampanie wpływu?

Ben Nimmo:
Z mojego doświadczenia wynika, że ChatGPT znacznie częściej odwołuje się do wiarygodnych źródeł, takich jak EUvsDisinfo, niż do tajnych operacji wpływu.

Poddane niezależnej ocenie badania czterech różnych chatbotów, opublikowane w Harvard Misinformation Review wykazały, że chatboty tylko sporadycznie odwoływały się do stron internetowych powiązanych z Kremlem, a wyniki, w których pojawiały się takie odniesienia, były raczej symptomem braków w danych, a nie wynikiem „Groomingu LLM”.

Nie oznacza to, że ryzyko nie istnieje. Naszym zadaniem jest ciągłe monitorowanie sytuacji i szybkie reagowanie, jeśli takie ryzyko się pojawi.

EUvsDisinfo:
W jaki sposób OpenAI filtruje sieci propagandowe przed rozpoczęciem szkolenia?

Ben Nimmo:
Nie mogę ujawnić szczegółów operacyjnych, ale opiera się to na wieloletnich badaniach nad funkcjonowaniem operacji wpływu. Domeny powiązane z takimi operacjami są publicznie dokumentowane przez wiele organizacji.

​​W OpenAI pracują zespoły zajmujące się jakością danych, szkoleniem wstępnym i szkoleniem uzupełniającym, ewaluacją i testami red team, nazywanymi też red teaming. Po uruchomieniu programu śledczy tacy jak ja monitorują pojawiające się zagrożenia i dzielą się wynikami swoich obserwacji wewnątrz firmy. Jest to wielopoziomowy, zbiorowy proces.

EUvsDisinfo:
Czy może Pan krótko wyjaśnić, czym jest „red teaming”?

Ben Nimmo:
Red teaming polega na tym, że wewnątrz firmy zespoły testerów próbują ominąć zabezpieczenia systemu – myśląc i działając jak atakujący. Dzięki wcześniejszej identyfikacji słabych punktów możemy wzmocnić zabezpieczenia.

EUvsDisinfo:
Jak zmienił się krajobraz zagrożeń w ciągu ostatniej dekady?

Ben Nimmo:
Platformy się zmieniają – Instagram, TikTok, a teraz generatywna sztuczna inteligencja – ale wiele operacji dezinformacji trwa od lat. Chińska Operacja „Spamouflage”, ujawniona w 2019 roku, nadal jest aktywna. Rosyjska operacja „Doppelganger”, ujawniona w 2022 roku, również trwa.

Największą zmianą nie są podmioty stanowiące zagrożenie, ale obrońcy. W 2014 roku bardzo niewiele osób zajmowało się tą kwestią. Obecnie istnieje wiele zespołów śledczych, wzrasta przejrzystość i powszechne jest zgłaszanie zagrożeń – w tym przez same firmy zajmujące się sztuczną inteligencją.

Ten zbiorowy rozwój jest najważniejszą zmianą.

EUvsDisinfo:
Czy społeczność przeciwdziałająca FIMI jest wystarczająco silna, aby zareagować?

Ben Nimmo:
Kluczowe pytanie nie brzmi, czy jest ona obecnie wystarczająco silna, ale jak możemy ją wzmocnić w przyszłości.

Obejmuje to lepsze narzędzia, szkolenia, przejrzystość, wymianę informacji i świadomość społeczną. Sztuczna inteligencja może drastycznie zwiększyć efektywność dochodzeń, ale równie ważne są umiejętności i koordynacja.

EUvsDisinfo:
Na czym powinny skupić się rządy, naukowcy i firmy zajmujące się sztuczną inteligencją w ciągu najbliższych pięciu lat?

Ben Nimmo:
Operacje wywierania wpływu są starsze niż sztuczna inteligencja. Kluczem jest zastosowanie zdobytej już wiedzy: przejrzyste raportowanie, dokładna ocena ryzyka, pomiar wpływu i ustrukturyzowana wymiana informacji.

Musimy unikać zaczynania od zera przy każdej nowej technologii. Celem jest ciągłość – przenoszenie wiedzy instytucjonalnej w miarę ewolucji krajobrazu technologicznego.

EUvsDisinfo:
Jak zniwelować rozdźwięk między raportami technicznymi a wiedzą publiczną?

Ben Nimmo:
Zamiast skupiać się na tym, jak działa technologia, należy skupić się na tym, jak ludzie ją wykorzystują.

Zrozumienie mechanizmów wywierania wpływu oznacza zrozumienie ludzkich oszustw. Niezależnie od tego, czy platformą jest Facebook, czy model językowy, ludzkie zachowania pozostają takie same. Wzorce zachowań, jak publikowanie postów o nieprawdopodobnych porach lub nieudolne naśladowanie tożsamości, są ponadczasowymi wskaźnikami.

Zachowania ludzkie zmieniają się znacznie mniej niż technologia – i właśnie na tym można oprzeć zrozumienie opinii publicznej.