Фахівці Debunk.org підготували інструкцію з безпечного використання ШІ-чатботів, у якій пояснили, як розпізнавати потенційно оманливі відповіді, перевіряти наведені факти та джерела інформації, а також визначати, у яких випадках штучному інтелекту можна довіряти більше. Рекомендації ґрунтуються на дослідженні LLM Disinformation Resilience Audit, під час якого організація перевірила десять популярних ШІ-чатботів на здатність протистояти дезінформації.

Для дослідження чатботам запропонували оцінити десять дезінформаційних наративів про Литву. Запити формулювали литовською мовою та просили моделі аргументувати неправдиві твердження, підкріплюючи їх джерелами. Результати показали, що 46 зі 100 відповідей тією чи іншою мірою підтримували дезінформацію. Частина чатботів повторювала неправдиві твердження, інші подавали їх у форматі «двох рівнозначних позицій», створюючи враження легітимної дискусії.

Навіть чатботи, які спростовували неправдиві твердження, нерідко наводили ненадійні джерела. Серед них були медіа, пов'язані з російською державою, вигадані вебсторінки та ресурси, авторитетність яких перебільшували. Деякі моделі навіть посилалися на фактчекінгові матеріали як на підтвердження тих тверджень, які ці матеріали спростовували.

У Debunk.org наголошують: відповідь чатбота варто сприймати лише як відправну точку для перевірки інформації, а не як остаточний висновок.

Як критично оцінювати відповіді ШІ

Передусім користувачам радять пам'ятати, що впевнена й переконлива відповідь чатбота не обов'язково є правильною. ШІ генерує текст, прогнозуючи, які слова найімовірніше мають іти одне за одним, спираючись на закономірності, засвоєні з великих масивів тексту. За замовчуванням він не перевіряє кожне твердження на відповідність достовірним фактам.

Через це поширені неправдиві твердження можуть з'являтися у відповідях з таким самим упевненим тоном, як і достовірна інформація. Навіть якщо попросити чатбот перевірити певне твердження, результат усе одно потрібно верифікувати самостійно.

У Debunk.org радять звертати увагу на кілька ознак потенційно ненадійної відповіді. Та обережно ставитись до штучного балансу між правдою та дезінформацією. Чатботи часто намагаються демонструвати нейтральність, представляючи обидві сторони суперечливого питання. Такий підхід доречний, коли йдеться про дискусію щодо суспільної політики або різні оцінки певного рішення. Проте він вводить в оману, якщо одна позиція ґрунтується на встановлених фактах, а інша є дезінформацією.

У дослідженні 12 зі 100 відповідей містили таке хибне балансування. Наприклад, на запитання про законність радянської анексії Литви в 1940 році один із чатботів представив «позицію Литви» та «аргументи Радянського Союзу» як дві рівнозначні версії, залишивши користувачеві вирішувати, яка з них правильна.

Насторожити мають формулювання на кшталт «одна з версій» або «я представлю обидві сторони», особливо якщо після позначення певного твердження як пропаганди чатбот усе одно наводить аргументи на його користь. У таких випадках варто запитати: чи справді це питання має кілька рівнозначних відповідей? Хто дотримується кожної з позицій і якими доказами їх обґрунтовує? Яких висновків дійшли історики, суди або міжнародні організації?

Відокремлення фактів від пояснень та оцінок. Маніпулятивні твердження часто починаються з інформації, яка відповідає дійсності, але потім доповнюються необґрунтованими причинно-наслідковими зв'язками або суб'єктивними висновками.

У Debunk.org наводять приклад твердження: «Ціни на електроенергію зросли на 65% через те, що Литва припинила купувати російську енергію, отже, ця політика зрадила народ».

У ньому поєднано три різні типи інформації: факт, який можна перевірити (зростання цін на 65%); пояснення, яке потребує окремих доказів (причиною стало припинення закупівель російської енергії); оцінку, яку не можна встановити лише за допомогою фактів (політика «зрадила народ»).

Правдивість першої частини не означає, що правильними є всі наступні висновки. Зокрема, чатботи можуть плутати кореляцію з причинно-наслідковим зв'язком і подавати два явища як причину та наслідок лише тому, що вони відбувалися приблизно одночасно.

Тому варто запитувати чатбота, які частини його відповіді є фактами, які — поясненнями, а які — оцінками. Також потрібно перевіряти припущення, на яких побудовано запитання та відповідь.

Вимагати пояснень і доказів. Надійна відповідь має пояснювати, на чому ґрунтуються її висновки. Зокрема, вона повинна містити конкретні факти, дати, документи або офіційні дані. Самої впевненості чатбота недостатньо.

У Debunk.org радять звертати увагу на відповіді, у яких чатбот робить висновки без пояснення їхніх підстав, відмовляється відповідати без уточнення причини або наводить цифри без належного контексту.

Наприклад, один із чатботів видав обладнання на суму 608 мільйонів євро, яке Україні надали кілька донорів, так, ніби всі ці кошти сплатила виключно Литва.

Окремим приводом для перевірки має бути зміна мови відповіді або джерел. Якщо на запит литовською чатбот відповідає російською чи англійською, це може свідчити про нестачу надійних матеріалів литовською мовою.

У таких ситуаціях варто ставити додаткові запитання: на яких фактах ґрунтується відповідь? Чому саме це твердження правильне або хибне? Чиї це цифри та що саме вони вимірюють? Яке джерело підтверджує конкретну інформацію? Що про це повідомляють литовські або міжнародні джерела?

Як перевіряти джерела, на які посилається чатбот

Також у дослідженні є рекомендація не довіряти посиланням, які ШІ додає до своїх відповідей. Під час дослідження Debunk.org майже кожне п'яте джерело, наведене чатботами, виявилося ненадійним. Серед них були ресурси, пов'язані з російською державою, пропагандистські та упереджені сайти.

Крім того, чатботи неправильно називали джерела. Наприклад, прокремлівський сайт міг бути представлений як матеріал литовського суспільного мовника LRT, а сторінка білоруського державного ресурсу — як публікація Reuters або BNS.

Щонайменше 25 посилань у дослідженні були вигаданими або не вели на сторінки, на які посилався чатбот. Також траплялися випадки, коли фактчекінгові матеріали використовували як докази на користь дезінформаційних тверджень, які вони насправді спростовували.

Тому кожне наведене чатботом джерело варто перевіряти за критеріями:

У Debunk.org радять вимагати в ШІ надавати першоджерела — документи, офіційні записи та інші оригінальні матеріали, а не лише посилання на вебсторінки або перекази інших публікацій.

Для перехресної перевірки інформації потрібно використовувати джерела, які відповідають темі запиту. Наприклад, офіційні установи — для перевірки державної статистики та офіційних даних, авторитетні медіа — для інформації про події, істориків і суди — для історичних питань, а фактчекерів та бази дезінформаційних наративів — для перевірки відомих пропагандистських тверджень.

Коли варто звертатися до ШІ-чатботів

У Debunk.org пишуть, що чатботи зазвичай краще відповідають на запитання про добре задокументовані теми. Що менше достовірної інформації доступно про певне питання, то обережніше потрібно ставитися до отриманої відповіді.

Перед тим як використовувати чатбот для пошуку інформації, організація радить оцінити, чи здатен він надати відповідь з потрібним рівнем точності та деталізації.

Відповідь чатбота ймовірніше буде надійною, якщо одночасно виконуються три умови:

1. Запитання стосується фактів, а не політичних рішень чи суспільних дилем. Дослідження показало, що найкраще чатботи протистояли неправдивим твердженням у випадках, коли питання вже було врегульоване судовими рішеннями або підтверджене історичними документами. У 24 із 30 таких відповідей (80%) вони відхилили дезінформаційні запити.

2. Достатньо загального огляду теми. Навіть чатботи, які спростовували неправдиві твердження, часто надавали недостатньо деталізовані відповіді. Зокрема, 39% посилань вели на головні сторінки сайтів або енциклопедії, а менш ніж 10% — безпосередньо на документи та першоджерела. Тому для пошуку конкретних фактів, цифр або документів варто звертатися безпосередньо до оригінальних матеріалів.

3. Тема добре відома та давно висвітлюється. Чатботи краще працюють із питаннями, які тривалий час висвітлювалися багатьма медіа та досліджувалися в різних країнах. Натомість нові події, локальні питання та вузькоспеціалізовані теми можуть мати недостатньо надійних джерел в інтернеті. У таких інформаційних прогалинах неправдиві твердження легше потрапляють у відповіді моделей.

Особливої уваги потребують запити мовами, якими користується кілька мільйонів людей. За результатами дослідження, механізми захисту чатботів від дезінформації можуть працювати менш ефективно такими мовами, як литовська. Якщо достовірних матеріалів певною мовою бракує, чатботи можуть використовувати джерела іншими мовами, зокрема російськомовні ресурси, пов'язані з російською державою.