Интервью с Беном Ниммо из OpenAI

Бен Ниммо – главный следователь в команде аналитики и расследований OpenAI. Он является ведущим экспертом в области онлайн-операций по влиянию, дезинформации и информационной войны и имеет более десяти лет опыта в расследовании государственных информационных кампаний, проводимых Россией, Китаем, Ираном и другими странами. До прихода в OpenAI он соосновал Лабораторию цифровой криминалистики (DFRLab) в Атлантическом совете и работал директором по расследованиям в Graphika.

Список сокращений

• ИИ – искусственный интеллект
• LLM – большая языковая модель
• GAN – генеративно-состязательная сеть
• FIMI – манипулирование информацией и иностранное вмешательство
• OSINT – открытые источники информации
• SEO – поисковая оптимизация
• DFRLab – Лаборатория цифровой криминалистики

Манипулирование информацией и иностранное вмешательство (FIMI) появились еще до появления ИИ, однако большие языковые модели меняют подход к разработке, совершенствованию и противодействию операциям влияния. По мере того как LLM становятся инструментами как для манипуляторов, так и для следователей, борьба за целостность информации набирает скорость и переходит в более адаптивную фазу. Об этом мы поговорили с Беном Ниммо из OpenAI, чтобы понять, что действительно изменилось, что осталось неизменным и что будет иметь наибольшее значение в будущем.

EUvsDisinfo:
Операции по оказанию влияния существовали ещё до ИИ, но большие языковые модели однозначно меняют как их методы, так, и техники расследования. Если рассматривать эти два аспекта в совокупности, что вы считаете самыми большими проблемами, с которыми сегодня сталкиваются LLM: с технической точки зрения, для общества и с точки зрения безопасности?

Бен Ниммо:
В OpenAI мы рассматриваем технологии в комплексе. Ни одна технология не существует в вакууме. Когда мы изучаем большие языковые модели, мы задаемся вопросом, как они вписываются в более широкий контекст операций влияния, которые существовали задолго до появления LLM.

Всякий раз, когда появляется новая технология, первым делом проходит период адаптации и обучения, то есть формируется понимание, как она будет использоваться, как злоумышленники будут пытаться ею злоупотреблять и как те, кто должен эту технологию защищать, должны на это реагировать. С чат-ботами и LLM мы сейчас находимся именно в этой фазе.

Полезно сравнить текущую ситуацию с 2019 годом, когда ещё не было чат-ботов с ИИ. Тогда генеративно-состязательные сети (GAN) использовались для создания поддельных фотографий профилей. Я руководил первым открытым расследованием крупной сети поддельных учётных записей в социальных сетях, где для профилей использовали лица, сгенерированные с помощью GAN.

Сначала мы забеспокоились, поскольку следователи уже не могли проводить обратный поиск по украденным фотографиям. Но в скором времени обнаружилось, что изображения GAN разительно отличаются от обычных. Например, глаза всегда располагались в одном и том же месте на всех изображениях. Один из коллег даже разработал инструмент для массового обнаружения лиц GAN.

То, что казалось преимуществом для злоумышленников, стало преимуществом для защитников. Это пример того, почему так важно публиковать результаты. В OpenAI мы публикуем отчёты об угрозах, где рассказываем, как наши модели используются для оказания влияния, мошенничества, киберпреступности и авторитарных репрессий. Мы делаем это уже почти два года, чтобы помочь коллективному обучению и адаптации.

EUvsDisinfo:
Выглядит так, будто между создателями вводящего в заблуждение контента и теми, кто его обнаруживает, идёт постоянная конкуренция.

Бен Ниммо:
Именно так. Это скорее эволюция, чем революция. Злоумышленники, как правило, интегрируют ИИ в уже существующие рабочие процессы, а не создают принципиально новые.

Например, с помощью ИИ можно сгенерировать убедительную статью, но без сети распространения она не найдёт своего читателя. Таким образом, базовая инфраструктура операций по оказанию влияния остаётся неизменной.

Мы были свидетелями того, как российские и китайские операторы начали использовать ChatGPT, чтобы улучшить свой английский и избежать грамматических ошибок, по которым их раньше легко было обнаружить. Но устранение одной ошибки часто приводит к появлению другой.

В начале 2024 года мы пресекли российскую операцию влияния, которую назвали «Плохая грамматика». С помощью ChatGPT генерировался контент на диалектном английском для фейковых личностей. Однако в одном посте в Telegram случайно «проскочило» сообщение об отказе модели, в котором говорилось примерно следующее:

«Как языковая модель искусственного интеллекта, я не могу дать вам комментарий от имени 57-летнего еврея Итана Голдштейна».

Одна единственная ошибка выдала использование ИИ, отсутствие корректуры и попытку имитации личности.

Наша задача как следователей – понимать эти рабочие процессы, выявлять их слабые места и пресекать их. Обмен результатами между платформами крайне важен. Например, в конце 2024 года мы остановили деятельность мошеннической сети, использующей ChatGPT. Meta, со своей стороны, провела расследование связанных с ней учётных записей Facebook, выявила центры мошенничества в Камбодже и поделилась с нами результатами, что позволило остановить их дальнейшую деятельность.

EUvsDisinfo:
Как ИИ помогает вам расследовать такие операции?

Бен Ниммо:
Я вынужден быть осторожным с конкретикой, но в целом ИИ превосходно справляется с анализом больших данных, распознаванием паттернов и переводом.

В начале своей карьеры я часами вручную анализировал аккаунты в социальных сетях, подсчитывая типы постов, анализируя использование языка и поведение. Сегодня те же аналитические процессы можно выполнять примерно в 100 раз быстрее с помощью ИИ.

Мы всегда привлекаем людей для проверки результатов, но ИИ стал настоящим прорывом с точки зрения скорости и эффективности.

EUvsDisinfo:
Какие угрозы существуют сегодня, которых не было в раннюю эпоху социальных сетей?

Бен Ниммо:
Опять же, мы видим скорее эволюцию, чем принципиально новые угрозы. Для нас стало неожиданностью, например, как обычные люди теперь используют ИИ для защиты.

В ходе подготовки нашего октябрьского отчёта об угрозах мы обнаружили, что каждый месяц миллионы людей спрашивают ChatGPT, является ли то или иное SMS-сообщение мошенническим. Модель объясняет, почему оно вызывает подозрения, и что делать дальше. Такая помощь в режиме реального времени просто не существовала раньше.

Инструменты искусственного интеллекта всё больше расширяют возможности пользователей, особенно в области предотвращения мошенничества.

EUvsDisinfo:
Насколько реальна угроза «LLM-груминга», когда злоумышленники пытаются повлиять на процесс обучения модели?

Бен Ниммо:
«LLM-груминга» – это новый термин, но он связан с давно существующим понятием «отравление данных». На эту тему ведутся множество научных исследований.

Важно различать данные для обучения и результаты веб-поиска. У моделей есть дата завершения обучения. Всё, что происходит после этого, не является внутренними знаниями, а извлекается из внешних источников.

Если модель ссылается на вводящий в заблуждение контент через веб-поиск, это не означает, что модель была обучена на его основе. Тем не менее, на этой почве часто возникают ошибочные толкования.

Агенты влияния давно пытаются манипулировать результатами поиска, наводняя информационное пространство, особенно через заполнение пробелов в данных – то есть ситуации, когда активно публикуется только одна версия событий. Мы ясно видели это во время гражданской войны в Сирии.

Вот почему так важно публиковать достоверную, основанную на фактах информацию. Если уязвимость сводится к отсутствию надёжного контента, решение проблемы – заполнение этого пробела.

EUvsDisinfo:
Проявляются ли в ответах модели попытки враждебного влияния?

Бен Ниммо:
По моему опыту, ChatGPT гораздо чаще ссылается на достоверные источники, такие как EUvsDisinfo, чем на скрытые операции влияния.

В рецензируемом исследовании четырех различных чат-ботов, опубликованном в Harvard Misinformation Review, было выявлено, что чат-боты лишь изредка ссылались на связанные с Кремлём дезинформационные веб-сайты, и что эти ссылки являются скорее показателем пробелов в данных, нежели результатом «LLM-груминга».

Это не означает, что риск отсутствует. Наша задача – постоянно отслеживать его и быстро реагировать, если он возникнет.

EUvsDisinfo:
Как OpenAI отфильтровывает пропагандистские сети перед обучением?

Бен Ниммо:
Я не могу раскрывать оперативные детали, но это основано на многолетних исследованиях того, как функционируют операции по оказанию влияния. Домены, связанные с такими операциями, публично документируются несколькими организациями.

Внутри OpenAI есть команды, которые занимаются качеством данных, предварительным обучением, последующим обучением, оценкой, также есть ред-тим. После запуска исследователи как я отслеживают возникающие риски и делятся своими выводами внутри компании. Это многоуровневый коллективный процесс.

EUvsDisinfo:
Можете ли вы кратко объяснить, что такое ред-тим?

Бен Ниммо:
Ред-тим, это внутренняя команда, которая пытается думать как противники, тестируя программу, стараясь обойти меры безопасности. Выявляя слабые места заранее, мы можем усилить защиту перед развёртыванием.

EUvsDisinfo:
Как изменилась ситуация с угрозами влияния за последнее десятилетие?

Бен Ниммо:
Платформы меняются – Instagram, TikTok, а теперь и генеративный ИИ – в т время как многие операции длятся годами. Китайская операция Spamouflage, раскрытая в 2019 году, всё ещё активна. Российская операция Doppelganger, раскрытая в 2022 году, продолжается.

Самые значительные изменения произошли не у злоумышленников, а у защитников. В 2014 году этим занимались очень немногие. Сегодня существует множество следственных групп, растёт прозрачность и широко распространена практика оповещения об угрозах, в том числе самими компаниями, занимающимися ИИ.

Именно этот общий прогресс – самое главное изменение.

EUvsDisinfo:
Достаточно ли сильно сообщество, противостоящее FIMI, чтобы реагировать?

Бен Ниммо:
Ключевой вопрос заключается не в том, достаточно ли оно сильное сегодня, а в том, как мы можем сделать его сильнее завтра.

Для этого нужны более совершенные инструменты, обучение, прозрачность, обмен информацией и информирование общественности. ИИ может значительно повысить эффективность расследований, но навыки и координация важны не меньше.

EUvsDisinfo:
На чем должны сосредоточиться правительства, исследователи и компании, занимающиеся ИИ, в течение следующих пяти лет?

Бен Ниммо:
Операции по оказанию влияния появились задолго до ИИ. Ключ к успеху – применение уже имеющегося опыта: чёткая отчётность, точная оценка рисков, измерение воздействия и структурированный обмен информацией.

Мы не должны начинать с нуля при внедрении каждой новой технологии. Целью здесь должно стать обеспечение преемственности, чтобы институциональные знания передавались по мере развития технологий.

EUvsDisinfo:

Что вы делаете, чтобы сократить разрыв между техническим характером отчётов и реальным пониманием общественности?

Бен Ниммо:
Вместо того чтобы держать фокус на том, как работает технология, следует сосредоточиться на том, как эту технологию используют люди.

Понимание операций влияния – это понимание природы человеческого обмана. Независимо от платформы, будь то Facebook или языковая модель, поведение человека остается неизменным. Такие паттерны, как публикации в нелогичное время суток или плохая имитация личностям, являются вечными индикаторами.

Поведение людей меняется гораздо меньше, чем технологии, и именно на этом можно основываться, чтобы обеспечить понимание общественности.