Дослідження Twitter-ботів про вейпінг є деґуманізуючою пропагандою.

4 жовтня я отримав електронного листа від журналіста Wall Street Journal, який хотів дізнатися мої думки щодо дослідження про "маркетинг ботами електронних сигарет" для статті, яку він планував.

Я сподівався, що це стосується недавнього звіту британської компанії Astroscreen, яка сказала Wired UK, що вони виявили, що "координована, неавтентична кампанія в соціальних мережах явно націлювалася на ключових політиків США, щоб примусити їх відкликати плани щодо законодавства про анти-вейпінг." Іронічно, Astroscreen створила бота, щоб виконувати їх роботу, і оскільки бот є "приватною технологією машинного навчання" (переклад: ніхто, крім авторів, не може зрозуміти, як або чому вони дійшли своїх висновків), справді немає способу оцінити дійсність їх висновків.

Я був готовий обговорити це з журналістом, який зв’язався зі мною. Але він не звертався до мене щодо дослідження бота Astroscreen.

Журналіст WSJ хотів коментарів щодо іншого звіту, від неназваних дослідників Public Good Projects (PGP) та фінансованого чимось на ім’я Фонд Ніколсона. Коли я сказав, що мені незручно коментувати дослідження, яке я ще не бачив або не читав, журналіст запропонував надіслати мені звіт за умови, що я не поділюся або прокоментую його до публікації статті. Я погодився на ці умови.

Дозвольте мені вказати на те, наскільки дивно, що дві різні приватні організації вирішили "викрити" нібито поширену активність "ботів" у сфері просування вейпінгу, вит leaking маючи неоглянуті "дослідження" основним новинним виданням, явно без жодних планів отримати рецензію на ці дослідження, і до будь-якого публічного релізу.

Коли я прочитав звіт PGP, я помітив інші подібності. Як і Astroscreen, PGP був невиправно непрозорим щодо своїх методологій. Згідно з PGP, їх аналіз пропонує "ніколи раніше не бачений інформацію про роль, яку боти в даний час грають в онлайн-обговоренні електронних сигарет і тютюнових виробів." Конкретно, вони приходять до висновку, що "понад половина всіх повідомлень, що надходять через публічні медіа-ресурси в США щодо електронних сигарет та тютюнових виробів, можуть бути опубліковані автоматизованими акаунтами або ботами."

Проте вони не надають жодної корисної інформації про те, як вони дійшли таких висновків. Читачі просто повинні довіряти, що це відкриття є дійсним. Але я помітив щось у звіті, що дало мені хороші підстави не довіряти йому. І, оскільки стаття, яку врешті-решт опублікував Wall Street Journal не містила жодного з моїх коментарів до журналіста, я поясню їх тут.

Однак перш ніж перейти до цього, давайте розглянемо деякі з більш широких проблем звіту PGP.

Що вони мають на увазі під "ботом"?

По-перше, PGP невиправно розпливчастий щодо того, що вони насправді зробили, як вони це зробили та що насправді знайшли. І це ускладнює інтерпретацію заяв, які, здавалося б, є прямолінійними у звіті, як оця: "з загальної вибірки з 2,536,659 Twitter-повідомлень, пов’язаних з електронними сигаретами або тютюном, 22.6% повідомлень були опубліковані людьми, 20.8% опубліковані підозрюваними ботами, і 56.6% підтверджено, що були згенеровані ботами."

Неможливо змістовно трактувати вищезазначену статистику, оскільки ми не знаємо, що PGP має на увазі під ботами. А точніше, ми не знаємо, що вони рахували як бота, коли проводили аналіз. Ми знаємо, з того, як сформульовано звіт, що PGP хоче, аби ми думали про ботів у вейпінгу як про автоматизовані акаунти, призначені для того, щоб здаватися людьми, які працюють на поширення дезінформації про нікотин та електронні сигарети, і/або рекламують їх усім та кожному, особливо дітям.

Але те, що PGP хоче, аби ми думали при згадці "бота", не є тим самим, що вони насправді рахували як бота в цьому дослідженні. Як же PGP насправді визначили ботів, і що вони вважали ботом? Ось що вони говорять у звіті:

"PGP може визначити, які пости мають високу ймовірність походження від ботів, а які мають високу ймовірність походження від людей.... Дослідники PGP перевіряють кілька характеристик акаунтів, щоб визначити ймовірність того, що пост походить від бота, включаючи (але не обмежуючися) частотою та часом публікацій, кількістю публікацій, кількістю підписників та взаємодією з іншими акаунтами. Боти, зокрема ті, що створені з злочинними намірами, є надзвичайно тонкими і часто розробляються так, щоб здаватися точно такими ж, як людина. Тому простий аналіз основних характеристик акаунта та профілю є недостатнім для оцінки ймовірності автоматизації."

Це безглуздо. Мені насправді не цікаво, наскільки точними PGP вважає свої методи; я хочу самим зробити цю оцінку, і я не можу на основі інформації, яку вони надають. Але все, що вони хочуть дати мені, це це патернізуюче та надто розпливчасте виправдання за відмову вказати, на що вони насправді звертали увагу, щоб я міг сам оцінити, чи є їхнє дослідження дійсним. Вони ставляться до своїх методів як до магії і формулюють їх занадто складно для своїх читачів, що насправді є величезним червоним прапором.

PGP поділилася деякими пізнішими уточненнями в Twitter вчора про їхній процес класифікації та методологію, які були ще більш розпливчастими та безсенсовими, ніж те, що вони сказали у фактичному звіті. Наприклад: "Ми визначаємо 'автоматизацію' як бал з 1-100. 100% робот буде робити такі речі, як авто-RT, не публікуючи оригінального контенту."

Пітер Стерн, фріланс-журналіст, який пише про медіа-індустрію, точно сформулював проблему з визначенням бота PGP у приватному повідомленні до мене: "PGP, очевидно, прийняла абсурдно широке визначення бота (кожен, хто використовує будь-який автоматизований додаток для публікацій), що підхоплює багато реальних людей, одночасно сильно натякаючи, що всі 'боти' є частиною складної соціальної медіа-операції, і їхні твіти не можуть бути сприйняті буквально."

У будь-якому випадку, PGP очевидно зацікавлена в дослідженні ботів, якими б вони їх не визначили. Частка ботів, активних у сфері вейпінгу, та роль, яку вони можуть відігравати в адвокації, є легітимною дослідницькою задачею, і я думаю, що багато вейперів вважали б дослідження, яке може відповісти на ці питання, досить цікавим. Але справа в тому, що PGP не спроектувала дослідження, яке могло б відповісти на питання, що спонукали їх звіт.

Якщо PGP хотіли зрозуміти характеристики акаунтів у певній популяції твіттерян (тобто, вейперів), їм потрібно було б знайти спосіб отримати репрезентативну вибірку акаунтів з цієї популяції. Це практично неможливо, але це не суть, оскільки PGP навіть не здається, що розуміють, що їм потрібно зробити щось подібне. PGP не вибирали акаунти, вони вибирали твіти. Ці твіти були надіслані акаунтами (очевидно), тож вони врешті-решт отримали колекцію акаунтів, але було абсолютно недоречно для дослідників продовжувати робити висновки про популяцію акаунтів, які твітують про вейпінг на основі деяких акаунтів, чий твіти випадково опинилися у їхній вибірці.

Інша велика проблема з доповіддю полягає в тому, що в ній насправді не сказано, скільки унікальних облікових записів мається на увазі. Вони повідомляють цифри твітів (напевно, тому що ці цифри більші, і PGP хоче вразити нас), але ми не знаємо, скільки облікових записів їх відправляють. І це насправді має велике значення, якщо в зразку є якісь реальні боти (а, напевно, вони є), тому що невідомий спам-бот з нульовою кількістю підписників, програмований для твітів сотні разів на день про вейпінг, міг генерувати непропорційну кількість твітів у всьому зразку, навіть якщо у бота майже немає впливу за межами його маленького ізольованого простору.

Ці боти зовсім не боти

Відсутність прозорості, відсутні визначення та чітка методологічна некомпетентність є достатньою причиною, щоб підозрювати висновки цього дослідження. Але конкретним показником того, що висновки PGP є недійсними, є розділ доповіді, який був видалений перед її публічним випуском. (Ви можете побачити публічну версію на сайті PGP.)

Повертаючись до Wall Street Journal. Коли вони попросили мене прокоментувати доповідь PGP, вони надіслали мені копію. Вона складалася з 32 сторінок. Розділ результатів займав 15 сторінок. А підрозділ в межах результатів, під назвою “Мережі ботів,” займав близько 40 відсотків цих результатів. Він складався з п’яти “мікровідомостей” аналізів так званих “облікових записів ботів” та їхніх “мереж ботів, визначених в процесі аналізу [PGP].” Вони використовують графіки для представлення кожної мережі. (Ось версія, яку мені надала репортер.)

Кожен з графіків PGP був побудований навколо центрального вузла, що представляв “бота” в аналізі PGP. Цей вузол був пов'язаний з іншими вузлами, що представляли облікові записи, які ретвітували так званий твіт бота. Аналітики соціальних мереж називають ці графічні зображення “его-мережами,” оскільки вони ілюструють взаємовідносини між центральним вузлом ( “его”) та з'єднаними вузлами ( “альтери”). PGP кольоровим кодом маркував альтерновані вузли відповідно до того, чи відповідають вони їх непублікованим критеріям, щоб бути ботом, з білими вузлами, що представляють облікові записи, які визначено як людські. Білі вузли були меншістю вузлів у всіх мережах PGP.

PGP хоче, щоб ми вірили, що більшість активності Twitter щодо вейпінгу, мабуть, не є створеною реальними людьми. Вони видалили ім'я “его” бота в центрі кожної ботнети. Чому? У доповіді вони стверджують, що це було для захисту приватності облікових записів, але якщо облікові записи - це боти, чому це важливо?

Чесно кажучи, навіть якщо PGP насправді був зацікавлений у захисті ідентичності облікових записів ботів, замаскованих під справжніх людей, які заважають в онлайн-дискурсі про вейпінг з потенційно серйозними наслідками для громадського здоров’я (або, як вони кажуть), насправді вони дуже погано з цим справилися.

Я зміг легко ідентифікувати конкретні облікові записи, представлені як центральний вузол в кожній з п’яти так званих бот-мереж, які PGP включив у свій початковий звіт. Я зміг це зробити, тому що PGP включив скріншоти твітів від облікових записів, які будь-хто міг ввести в рядок пошуку в інтерфейсі користувача Twitter і знайти. Я зробив це для твітів кожного облікового запису, перевірив кількість їхніх підписників і постів з тим, що повідомляв PGP, і перевірив, хто всі вони. Весь процес зайняв менше ніж півгодини. І вгадайте, що? Жоден з цих облікових записів не є “ботами, що видають себе за реальних людей.”

Із п’яти облікових записів, які PGP вибрав для обговорення своїх зразкових бот-мереж, лише один я не впізнав. Це був комерційний обліковий запис, базований у Великій Британії, який використовував Twitter для реклами своїх оголошень на eBay для різних продуктів, включаючи рідину для вейпінгу та CBD. Чи здавалося, що рахунок використовує автоматизацію для публікації твітів? Так. Чи є будь-яка ознака, що люди не стояли за цими твітами? Ні. Чи могла б будь-яка розумна людина сплутати це з чимось іншим, окрім комерційного рахунку компанії електронної комерції? Ні. Чи є будь-які підтвердження, що обліковий запис рекламував за межами своєї мережі підписників? Ні.

Що стосується чотирьох облікових записів, які мені були знайомі, три були приватними обліковими записами осіб, які є давніми захисниками вейпінгу і, очевидно, реальними людьми. Інший – це Twitter-акаунт цього самого видання. Редактор новин Vaping360 Jim McDonald керує цим обліковим записом та публікує з нього, і Jim не є ботом.

Таким чином, з п’яти так званих ботів: один є обліковим записом для видання про вейпінг, яким керує один з журналістів, який використовує його для публікації статей і взаємодії з іншими твіти (тобто він публікує оригінальний контент). Три – це приватні особи, які виступають за вейпінг. А інший один – якийсь британський роздріби. Мені вкрай важко повірити, що хтось, хто знайомий з будь-якими з цих облікових записів, може дійти висновку, що вони є ботами, що видають себе за людей. Або компаніями, які видають себе за окремих людей. Або бізнесами, які використовують ботів, щоб видавати себе за окремих людей. Або будь-ким, хто береться за будь-яку злочинну діяльність, з цієї точки зору.

І це робить рішення PGP видалити імена цих п’яти облікових записів дещо підозрілим. По-перше, звичайно, вони знали, що для когось, хто хотів дізнатися, хто ці облікові записи, це було можливим з інформацією, яку вони надали. Тож вони не захистили приватність нікого, просто ускладнили комусь, хто хотів дізнатися про ідентичність облікових записів, знайти цю інформацію.

Скріншоти, які я зміг використати для пошуку твітів з цих облікових записів, включали ретвіти та відповіді на облікові записи від “альтерів”, які також не є ботами — і жодних заходів не було вжито для захисту ідентичностей цих облікових записів. Скріншоти PGP розкрили імена та нікнейми інших облікових записів у так званих “ботнетах,” просто не центральних ботів (які не є ботами).

Все це робить мені важко повірити, що захист приватності “ботів” був головною причиною, чому PGP приховав ID облікових записів. Це не має сенсу, тому що захисти були вкрай легкими для насуперечення, тому що захисти не були поширені на облікові записи, що з’являються на скріншотах, і тому що в кінцевому підсумку PGP мав набагато більший стимул приховати цю інформацію для власного захисту та для збереження правдоподібності свого ненадійного звіту, ніж для будь-чого іншого.

Захист приватності чи збереження обличчя?

Я хотів би дізнатися, чому PGP опублікував іншу версію доповіді, від тієї, яку вони поділили з Wall Street Journal. Очевидно, що так само і Грегорі Конлі, який попросив їх пояснити цей вибір у Twitter. Відповідь PGP була така:

“WSJ мав ексклюзивне право на дослідження, і ми поділилися інформацією під час перевірки. В якийсь момент ми поділилися 5 обліковими записами, які мали високі оцінки автоматизації, з 1 мільйона+ повідомлень, що були проаналізовані. Ми не хотіли, щоб ці облікові записи були під мішенню. Тому ні стаття, ні доповідь не згадують їх.”

PGP, здається, натякає тут на те, що ботнети були надані Wall Street Journal як додатковий контекст до остаточного дослідження. Якщо аналіз, який я вказав як фатально невірний, насправді ніколи не призначався для публічного споживання, а просто деякий додатковий матеріал, надісланий Журналу разом з офіційною доповіддю, це не змінює того факту, що він підриває дійсність всього дослідження.

Але в це досить важко повірити, що вони не планували включити це у фінальну версію. Ця секція була вказана в змісті версії звіту, яка була надіслана мені. Це була основна частина їхнього розділу результатів, з "ботнетами", оформленими як ілюстрація абстрактного явища, яке, за їхніми словами, висвітлював їхній звіт. Не було жодних ознак того, що цей зміст не планувався як важлива частина фінального звіту.

Мені склалося враження, що те, що мені було надано, було остаточним звітом, і коли я зазначив, що цей аналіз є грубо помилковим (та неетичним), мені ніколи не говорили, що це була поверхнева частина дослідження або особлива для Wall Street Journal. Хоча я не можу стверджувати напевно, репортер, який надіслав його мені, здавався враженим, що це була остаточна версія також. І справді, хто б надіслав робочий варіант проривного звіту газеті, якій ти пропонуєш ексклюзив? Це не зовсім має сенс. Документ, який містив тепер видалений аналіз ботнету, був відшліфований, видалена секція була частиною змісту, нічого не вказує на те, що це не мало бути остаточним продуктом.

Якщо PGP дізналися, як погано вони провалили цей аналіз, це повинно було викликати у них сумніви щодо достовірності всього їхнього дослідження. Відповідним, інтелектуально чесним і прозорим кроком було б попросити газету утриматися від публікації або скасувати свою статтю, щоб звіт міг бути виправлений, або, можливо, якщо недоліки були такими серйозними, відкинутий. Щонайменше, слід було б зазначити, що версія, надіслана до Журналу, була іншою, ніж фінальна версія, опублікована на вебсайті.

Я думаю, що PGP видалили ці сторінки, як тільки зрозуміли очевидність серйозних помилок, які вони зробили. Вони спотворили нормальні наукові процеси в усіх інших аспектах цієї роботи. Чому я—чому хто-небудь—повинен вірити, що їм було важливо щось інше, окрім збереження власного обличчя? Якщо у PGP є якісь реальні конкретні докази на підтримку їхньої заяви, що рішення про вирізання цього розділу не було пов'язано з тим фактом, що їхні ботнети насправді не були ботнетами, вони повинні вийти з цим на поверхню.

Дегуманізація легітимних протестувальників

Звіт PGP малює картину складної мережі ботів, призначених для того, щоб обманювати людей у вірі, що вони є окремими людьми, аби маніпулювати дискурсом стосовно вейпінгу. Той факт, що жоден з їхніх найкращих прикладів не мав жодної з характеристик цього типу облікового запису (і четверо з них були людьми, яких я насправді знав), raises serious questions about the reliability of the entire enterprise.

Сфера адвокації вейпінгу в Twitter є слабо пов'язаною спільнотою окремих громадян, які використовують свої в основному приватні облікові записи в соціальних мережах у специфічному контексті. Ці люди не в Twitter на користь опортуністичних дослідників "моніторингу та комунікації в громадському здоров'ї", які мають вигоду від збору їхньої контенту, створеного користувачами, та подання його поза контекстом, щоб проілюструвати неймовірну і інтелектуальноdishonest теорію, що впливові адвокати вейпів не є нічим іншим, як складною мережею зловмисних ботів, що дволикно видають себе за людей з метою поширення дезінформації в інтересах якоїсь безіменної, безлічної, корпоративної влади.

Я не впевнений, чи очевидна нечесність, яка пронизує звіт PGP, є спробою організації обдурити громадськість, чи більш відображає той факт, що вони обдурили самі себе.

Але це не має значення. З чи без видаленої секції “botnets”, звіт PGP цілком неетичний. Цей звіт не стосувався внеску в знання про адвокацію вейпінгу, він стосувався створення медіа-гарячки навколо шокуючого відкриття, яке насправді не є реальним. Його провела приватна, неназвана група маркетингових дослідників, які або не розуміють, або не дбають про норми прозорої, валідної та надійної наукової роботи. Вони також ігнорували дуже реальний дисбаланс влади між людьми, які проводять дослідження вейпінгу у Твіттер, і реальними людьми, які використовують Твіттер для адвокації вейпінгу.

Звіт PGP є пропагандою, спрямованою на знецінення легітимних протестувальників, дискретизацію їхньої справи та цензурування їхньої мови на платформах соціальних медіа. Звіт був представлені з маскою науки, але він повністю призначений для досягнення політичних цілей.

Рекомендується подальше читання: