Зловмисники використовують швидкий розвиток генеративного штучного інтелекту для створення синтетичних медіа, що полегшує їм діяльність. Ця тенденція трансформує створення візуального контенту для обманних цілей і можливо ускладнює ідентифікацію медіа, створеного за допомогою ШІ. Хоча експерти та користувачі часто можуть виявляти характерні шаблони в такому контенті, останні випадки реалістичних зображень і дипфейків з різних куточків світу свідчать про те, з якою легкістю зловмисники можуть створювати та поширювати оманливий візуальний контент. У звіті DFRLab зосередилася на ролі візуальних генеративних моделей у створенні зображень профілів, щоб зрозуміти прогрес інструментів ШІ та дослідити їхнє використання в майбутніх операціях впливу.

Нижче переповідаємо ключове зі звіту DFRLab

Генеративний штучний інтелект та дифузійні моделі

Технологія генеративного штучного інтелекту, яка дозволяє створювати різні типи контенту на основі навчальних даних, існує вже десятиліттями. Однак поява генеративно-конкурентних мереж (GAN) стала поворотним моментом, оскільки ці просунуті моделі машинного навчання значно покращили та демократизували створення синтетичних медіа, які можуть бути фотореалістичними та невідрізними від створених людьми.

Крім того, досягнення в багатомодальних системах ШІ, що лежать в основі таких інструментів, як Midjourney, Dall-E та Stable Diffusion, та їхній дешевий або безкоштовний доступ дали користувачам доступ до створення зображень і відео з текстових описів.
Далі DFRLab розповідає про підвид моделей машинного навчання дифузційні дифузійні моделі. І їх роль у поширенні неавтентичного контенту.

This Person Does Not Exist

До широкого поширення дифузійних моделей дослідники документували використання генеративно-конкурентної мережі (GAN) для створення високоякісних синтетичних облич. Вони широко використовувалися для генерації зображень профілів неавтентичними акаунтами в різних онлайн-операціях, від комерційної діяльності до політичної пропаганди. Однак з ростом уваги до цих тактик дослідники та користувачі навчилися розпізнавати поширені помилки та шаблони, які видавали походження таких зображень.

Запущений у 2019 році проект ThisPersonDoesNotExist.com, заснований на популярній архітектурі StyleGAN (а пізніше StyleGAN2), знайшов широке застосування в обманних кампаніях. Як свідчить назва, ThisPersonDoesNotExist навчався на наборі даних людських фігур і міг генерувати унікальні синтетичні зображення неіснуючих людей.

GAN проти дифузійних моделей проти мультимодальних моделей

На відміну від GAN, які просто продають зображення користувачам, сучасні інструменти на основі дифузії надають здавалося б необмежений художній контроль. Текстово-графічний формат генерації зображень дозволяє точно контролювати деталі зображення. Деякі дифузійні моделі, такі як Midjourney, дозволяють користувачам налаштовувати навіть найдрібніші деталі зображення та його суб'єктів; ці тонкі деталі часто видавали автентичність зображення GAN.

Приклади використання неавтентичних зображень для поширення інформації, які виділяють DFRLab:

1. Проукраїнські акаунти на COP28

Перед самітом ООН COP28 з питань клімату, який відбувся наприкінці 2023 року в Об'єднаних Арабських Еміратах (ОАЕ), неавтентична мережа в X використовувала суміш GAN-генеруваних і можливо мультимодальних зображень профілів для просування президента саміту Султана Аль-Джабера. DFRLab документувала випадки, які підкреслюють роль синтетичних зображень у кампанії, сигналізуючи про раннє прийняття останнього покоління інструментів ШІ.

2. Неавтентичні акаунти Facebook підривають проєвропейський уряд Молдови

Неавтентична рекламна кампанія в Facebook, спрямована на підрив проєвропейського уряду Молдови та просування проросійської партії країни, слугує ще одним прикладом розвитку використання мультимодальних моделей. У цій кампанії використовувалися такі інструменти, як DALL-E 2, для створення синтетичних зображень профілів, які не тільки показували обличчя, але й включали верхню частину тіла, щоб виглядати більш реалістично.

3. STOIC: неавтентична кампанія? націлена наамериканців і канадців

Розслідування DFRLab виявило спробу створити здавалося б реалістичні профілі X через синтетичні зображення профілів на основі дифузії. Кампанія, приписувана ізраїльській маркетинговій фірмі STOIC і профінансована Міністерством діаспори Ізраїлю, використовувала як GAN-генерувані зображення, так і зображення, створені дифузійними моделями.

4. Проізраїльські "користувачі" X видають себе за американців і канадців

DFRLab виявила проізраїльську мережу в X, яка використовувала як GAN-генерувані, так і гіперреалістичні зображення профілів, щоб видавати себе за американців і канадців. Хоча ця мережа не має зв'язків зі STOIC, вона використовувала схожі текстово-графічні моделі для створення аватарів.

5. Інструменти ШІ використовувалися в Кенії, щоб дискредитувати протестувальників і стверджувати про російські зв'язки

Після протестів у Кенії влітку 2024 року DFRLab виявила операцію впливу, яка використовувала зображення, створені ШІ, на яких зображені молоді кенійці, які протестують з російськими прапорами та одностатеві пари, які цілуються, у спробі дискредитувати протести.

Підходи до протидії

1. Виявлення візуальних шаблонів

Зображення, створені дифузійними моделями, мають дещо однорідну естетику, часто кінематографічні, з якістю малюнка та високим контрастом і м'яким освітленням. Вони часто виглядають «жахливими» або «занадто досконалими», з ідеалізованими нормами краси та нереалістично однорідними текстурами шкіри. Фони часто виглядають загальними та розмитими, а одяг і руки можуть містити артефакти.

2. Боротьба із дипфейками

Дипфейки — це складний синтетичний медіаконтент, створений ШІ, де зловмисники змінюють візуальні матеріали, щоб зобразити осіб в уявних сценаріях. Такі тактики використовуються для криптовалютних шахрайств, порнографії, політичної пропаганди та нападів на політиків.

Погляд у майбутнє

Зловмисники тепер мають під руками дешеві інструменти для швидкого створення різноманітного та цілеспрямованого медіаконтенту. Хоча методи перевірки розвиваються, у DFRLab припускають, що обсяг дезінформації може перевищити можливості виявлення, створюючи тривожне майбутнє.