Lo studio sul Vaping Twitter Bot è propaganda disumanizzante.

Il 4 ottobre ho ricevuto un'email da un reporter del Wall Street Journal che voleva i miei pensieri su uno studio riguardante il "marketing dei bot delle sigarette elettroniche" per una storia che stava progettando.

Ho pensato che questo riguardasse un report recente della società britannica Astroscreen, che ha detto a Wired UK di aver scoperto che una "campagna di social media coordinata e non autentica stava esplicitamente prendendo di mira i principali decisori politici negli Stati Uniti nel tentativo di costringerli a ritirare i piani per una legislazione contro il vaping." Ironia della sorte, Astroscreen aveva costruito un bot per fare il loro lavoro per loro, e poiché il bot è una "tecnologia di apprendimento automatico proprietaria" (traduzione: nessuno tranne gli autori può vedere come o perché sono giunti alle loro conclusioni), non c'è davvero modo di giudicare la validità delle loro conclusioni.

Ero preparato a discutere questo con il reporter che mi ha contattato. Ma non mi contattava riguardo allo studio del bot di Astroscreen.

Il reporter del WSJ voleva commenti su un report diverso, di ricercatori non nominati del Public Good Projects (PGP) e finanziato da qualcosa chiamato Nicholson Foundation. Quando ho detto che mi sentivo a disagio a commentare uno studio che non avevo ancora visto o letto, il reporter ha offerto di inviarmi il report con la condizione che non lo condividessi o commentassi fino a dopo la pubblicazione della storia. Ho accettato quelle condizioni.

Lasciami sottolineare quanto sia strano che due distinte organizzazioni private abbiano deciso di "esporre" apparentemente dilagante attività di "bot" nel campo della difesa del vaping rilasciando "studi" non esaminati ai principali organi di informazione, apparentemente senza alcun piano di far valutare questi studi da esperti e prima di qualsiasi rilascio pubblico.

Quando ho letto il report del PGP, ho notato altre somiglianze. Come Astroscreen, il PGP era inescusabilmente opaco riguardo alle proprie metodologie. Secondo il PGP, la loro analisi offre "informazioni mai viste prima sul ruolo che i bot stanno attualmente svolgendo nella discussione online riguardante le sigarette elettroniche e i prodotti del tabacco." Specificamente, concludono che "oltre la metà di tutti i messaggi trasmessi attraverso fonti media pubbliche negli Stati Uniti riguardanti le sigarette elettroniche e i prodotti del tabacco potrebbero essere stati postati da account automatici, o bot."

Tuttavia, non forniscono alcuna informazione utile su come siano arrivati a tale conclusione. I lettori sono semplicemente supposti fidarsi del fatto che il risultato sia valido. Ma ho notato qualcosa nel report che mi ha dato buone ragioni per non fidarmi. E, poiché l'articolo che il Wall Street Journal ha infine pubblicato non includeva alcuno dei miei commenti al reporter, li spiegherò qui.

Tuttavia, prima di arrivare a questo, esaminiamo alcuni dei problemi più ampi con il report del PGP.

Cosa intendono per “bot” comunque?

Prima di tutto, il PGP è inescusabilmente vago su cosa abbiano effettivamente fatto, come l'abbiano fatto e cosa abbiano effettivamente trovato. E questo rende molto difficile interpretare affermazioni che sembrano dirette nel report, come questa: "su un campione totale di 2.536.659 messaggi Twitter relativi alle sigarette elettroniche o al tabacco, il 22,6% dei messaggi è stato postato da umani, il 20,8% postato da bot sospetti e il 56,6% è confermato provenire da bot."

È impossibile interpretare significativamente la statistica sopra perché non sappiamo cosa intenda il PGP per bot. O piuttosto, non sappiamo cosa abbiano contato come bot quando hanno fatto l'analisi. Sappiamo, da come è inquadrato il report, che il PGP vuole che pensiamo ai bot nel vaping come a account automatici, progettati per apparire umani, che operano per diffondere disinformazione su nicotina e sigarette elettroniche e/o pubblicizzarli a chiunque e tutti, specialmente ai bambini.

Ma ciò che il PGP vuole che pensiamo quando sentiamo "bot" non è lo stesso di ciò che hanno effettivamente contato come bot in questo studio. Quindi come ha identificato effettivamente i bot il PGP, e cosa consideravano un bot? Ecco cosa dicono nel report:

“Il PGP è in grado di identificare quali post hanno un'alta probabilità di origine da bot e quali hanno un'alta probabilità di origine da umani…. I ricercatori del PGP esaminano più caratteristiche degli account per determinare la probabilità che un post provenga da un bot, inclusi (ma non limitati a) la frequenza e il timing dei post, il numero di post, il numero di follower e l'engagement con altri account. I bot, in particolare quelli creati con intento malevolo, sono incredibilmente sfumati e sono spesso progettati per apparire esattamente come umani. Pertanto, un semplice esame delle caratteristiche dell'account e del profilo di base è insufficiente per valutare la probabilità di automazione.”

Questo è inutile. Non mi interessa quanto siano accurati i metodi del PGP; voglio fare quella valutazione io stesso, e non posso basandomi sulle informazioni che forniscono. Ma tutto ciò che vogliono darmi è questa scusa condiscendente e eccessivamente vaga per non dirmi cosa hanno effettivamente esaminato, in modo che io possa giudicare da solo se il loro studio è valido. Considerano i loro metodi come magie e li presentano come troppo sofisticati perché i loro lettori possano comprenderli, il che è fondamentalmente un enorme campanello d'allarme.

Il PGP ha condiviso alcune chiarificazioni post-hoc su Twitter ieri riguardo al loro processo di classificazione e metodologia che erano ancora più vaghe e prive di significato rispetto a quelle che hanno detto nel report effettivo. Ad esempio: “Definiamo “automazione" come un punteggio da 1 a 100. Un robot al 100% farà cose come auto-RT, senza pubblicare contenuto originale.”

Peter Sterne, un giornalista freelance che scrive di industria dei media, ha articolato sinteticamente il problema con la definizione di bot del PGP in un messaggio privato a me: “Il PGP ha apparentemente adottato una definizione incredibilmente ampia di bot (chiunque utilizzi qualsiasi app di pubblicazione automatica) che include molte persone reali, mentre suggerisce fortemente che tutti i “bot” fanno parte di un'operazione sofisticata sui social media e i loro tweet non possono essere presi per buoni.”

In ogni caso, il PGP era ovviamente interessato a studiare i bot, qualunque sia la definizione fornita. La proporzione di bot attivi nel campo del vaping, e il ruolo che potrebbero svolgere nella difesa, è un legittimo puzzle di ricerca, e penso che molti vapers troverebbero uno studio che potrebbe rispondere a queste domande piuttosto interessante. Ma il fatto è che il PGP non ha progettato uno studio che potesse rispondere alle domande che motivano il loro report.

Se il PGP voleva comprendere le caratteristiche degli account in una particolare popolazione di twittatori (cioè, i vapers), avrebbero dovuto trovare un modo per ottenere un campione rappresentativo di account da quella popolazione. Questo è praticamente impossibile, ma questo non è il punto perché il PGP non sembra nemmeno capire che avrebbero dovuto fare qualcosa del genere. Il PGP non ha campionato account, ha campionato tweet. Questi tweet sono stati inviati da account (ovviamente) quindi alla fine hanno ottenuto una raccolta di account, ma era completamente inappropriato per i ricercatori procedere a fare inferenze sulla popolazione di account che twittano riguardo il vaping sulla base di alcuni account i cui tweet sono finiti nel loro campione.

L'altro grande problema con il rapporto è che non dice effettivamente quante account unici stanno discutendo qui. Segnalano numeri di tweet (probabilmente perché quei numeri sono più grandi, e PGP vuole impressionarci), ma non sappiamo quanti account li stanno inviando. E questo è davvero importante se ci sono bot reali nel campione (e probabilmente ce ne sono alcuni) perché un oscuro spam-bot con zero follower programmato per twittare centinaia di volte al giorno su vaping potrebbe aver generato un numero sproporzionato di tweet nell'intero campione, anche se il bot ha poco o nessun effetto oltre la sua piccola bolla isolata.

Questi bot non sono affatto bot

La mancanza di trasparenza, l'assenza di definizioni e la chiara incompetenza metodologica sono ragioni sufficienti per sospettare le conclusioni di questo studio. Ma l'indicatore concreto che i risultati di PGP non sono validi è una sezione del rapporto che è stata rimossa prima della sua pubblicazione pubblica. (Puoi vedere la versione pubblica sul sito web di PGP.)

Tornando al Wall Street Journal. Quando mi hanno chiesto di commentare il rapporto PGP, mi hanno inviato una copia. Era lunga 32 pagine. La sezione dei risultati era lunga 15 pagine. E una sottosezione all'interno dei risultati, intitolata “Reti di Bot,” occupava circa il 40 percento di questi risultati. Consisteva in cinque analisi “micro-livello” di cosiddetti “account bot” e delle loro “reti di bot identificate durante il processo di analisi di [PGP].” Usano grafici per rappresentare ciascuna rete. (Ecco la versione che mi è stata data dal reporter.)

Ciascuno dei grafici di PGP è stato costruito attorno a un nodo focale, rappresentante un “bot” nell'analisi PGP. Quel nodo era collegato ad altri nodi che rappresentavano account che hanno ritwittato il tweet del cosiddetto bot. Gli analisti delle reti sociali si riferiscono a queste rappresentazioni grafiche come “reti ego,” perché ritraggono la relazione tra un nodo centrale (l'“ego”) e nodi connessi (“alters”). PGP ha colorato i nodi alter in base al fatto che soddisfacessero o meno i loro criteri non divulgati per essere un bot, con nodi bianchi che rappresentano account determinati come esseri umani. I nodi bianchi erano la minoranza di nodi in tutte le reti di PGP.

PGP vuole che crediamo che la stragrande maggioranza dell'attività di Twitter su vaping sia probabilmente generata da veri esseri umani. Hanno omesso il nome del bot “ego” al centro di ciascun botnet. Perché? Nel rapporto affermano che questo era per proteggere la privacy degli account, ma se gli account sono bot perché ciò è importante?

Francamente, anche se PGP fosse realmente interessato a proteggere le identità degli account bot mascherati da persone reali che stanno meddling nel discorso online sul vaping con potenziali conseguenze gravi per la salute pubblica (o così dicono), il fatto è che hanno fatto un lavoro terribile.

Sono riuscito a identificare facilmente gli account specifici rappresentati come il nodo centrale in ciascuna delle cinque presunte reti di bot che PGP ha incluso nel loro rapporto originale. Sono riuscito a farlo perché PGP ha incluso schermate di tweet degli account che chiunque poteva digitare nella barra di ricerca nell'interfaccia utente di Twitter e recuperare. Ho fatto ciò per i tweet di ciascun account, controllato il loro numero di follower e di post con ciò che PGP ha segnalato, e verificato chi fossero tutti. L'intero processo mi ha preso meno di mezz'ora. E indovina un po'? Nessuno di questi account è “bot che si spacciano per veri umani.”

Tra i cinque account scelti da PGP per la loro discussione sui reti di bot esemplari, c'era solo uno che non riconoscevo. Era un account commerciale con sede nel Regno Unito, che usava Twitter per pubblicizzare le sue inserzioni su eBay per vari prodotti, tra cui e-liquid e CBD. L'account sembrava utilizzare automazione per postare tweet? Sì. C'era qualche indicazione che le persone non fossero dietro a quei tweet? No. Qualsiasi persona ragionevole scambierebbe questo per qualcos'altro che non sia l'account commerciale di un'azienda di commercio online? No. C'era qualche indicazione che l'account stesse promuovendo oltre la propria rete di follower? No.

Per quanto riguarda i quattro account che conoscevo, tre erano account privati di individui che sono sostenitori di vaping da lungo tempo, e chiaramente persone reali. L'altro era il Twitter account di questa pubblicazione stesso. L'editor di notizie di Vaping360, Jim McDonald, gestisce e twitta da questo account, e Jim non è un bot.

Quindi dei cinque presunti bot: uno è l'account per una pubblicazione sul vaping che è gestito da uno dei giornalisti che lo usa per postare articoli, e interagire con altri twittatori (quindi pubblica contenuti originali). Tre sono individui privati che difendono il vaping. E l'altro è un rivenditore britannico. È estremamente difficile per me credere che chiunque sia familiare con uno di questi account concluderebbe che si tratta di bot che si spacciano per umani. O di aziende che si spacciano per singoli umani. O di aziende che usano bot per spacciarsi per singoli umani. O di chiunque coinvolto in attività nefasti, a dire il vero.

E questo rende la decisione di PGP di omettere i nomi di questi cinque account un po' sospetta. Prima di tutto, sicuramente sapevano che sarebbe stato possibile per qualcuno che voleva sapere quali erano gli account scoprirlo con le informazioni che hanno reso disponibili. Quindi non hanno protetto la privacy di nessuno, hanno semplicemente reso leggermente più laborioso per qualcuno che voleva conoscere l'identità degli account trovare quella informazione.

Le schermate che sono riuscito a utilizzare per cercare tweet di questi account includevano ritwitt e risposte agli account da parte di “alters” che non sono nemmeno bot—e non sono state adottate misure per proteggere le identità di questi account. Le schermate di PGP hanno rivelato i nomi e gli handle di altri account nei cosiddetti “botnets,” solo non i bot centrali (che non sono bot).

Tutto ciò rende difficile per me credere che proteggere la privacy dei “bot” fosse il motivo principale per cui PGP ha nascosto gli ID degli account. Non ha senso perché le protezioni erano estremamente facili da eludere per chiunque, perché le protezioni non erano estese agli account apparendo negli screenshot, e perché alla fine della giornata, PGP aveva un incentivo ben maggiore a nascondere queste informazioni per la propria protezione e per proteggere la credibilità del loro rapporto difettoso piuttosto che per qualsiasi altra cosa.

Proteggere la privacy o salvare la faccia?

Vorrei sapere perché PGP ha pubblicato una versione diversa del rapporto rispetto a quella che hanno condiviso con il Wall Street Journal. Apparentemente anche Gregory Conley lo ha fatto, che ha chiesto loro di spiegare questa scelta su Twitter. La risposta di PGP a lui è stata questa:

“Il WSJ aveva un'esclusiva sulla ricerca e abbiamo condiviso informazioni durante la dovuta diligenza. A un certo punto abbiamo condiviso 5 account che avevano punteggi di automazione elevati, su oltre 1 milione di messaggi analizzati. Non volevamo che quegli account fossero presi di mira. Così né l'articolo né il rapporto li menzionano.”

PGP sembra qui implicare che i botnets sono stati forniti al Wall Street Journal come contesto aggiuntivo per lo studio finale. Se l'analisi che ho evidenziato come gravemente difettosa non era mai intesa per il consumo pubblico, e semplicemente del materiale aggiuntivo inviato al Journal insieme al rapporto ufficiale, ciò non cambia il fatto che minaccia la validità dell'intero studio.

Ma è piuttosto difficile credere che non intendessero avere questo nella versione finale. La sezione era elencata nell'indice della versione del rapporto che mi è stata inviata. Questo era un elemento fondamentale della loro sezione dei risultati, con i “botnets” presentati come illustrativi del fenomeno astratto che affermavano il loro rapporto illuminasse. Non c'era alcuna indicazione che questo contenuto non fosse destinato a essere una parte principale del rapporto finale.

Ho avuto l'impressione che ciò che mi era stato dato fosse il rapporto finale, e quando ho segnalato questa analisi come gravemente difettosa (e non etica) non mi è mai stato detto che fosse una parte superficiale dello studio o speciale per il Wall Street Journal. Anche se non posso dirlo con certezza, il reporter che me l'ha inviato sembrava avere l'impressione che questa fosse l'ultima versione. E davvero, chi manderebbe la bozza di lavoro di un rapporto innovativo a un giornale a cui stai offrendo un'esclusiva? Questo non ha davvero senso. Il documento che includeva l'analisi del botnet ora eliminata era rifinito, la sezione eliminata era parte del sommario, nulla indica che ciò non fosse destinato a essere il prodotto finale.

Se PGP avesse scoperto quanto male avevano gestito questa analisi, dovrebbe averli portati a mettere in dubbio la validità dell'intero studio. La cosa responsabile, intellettualmente onesta e trasparente da fare qui sarebbe chiedere al giornale di trattenere o annullare la loro storia in modo che il rapporto potesse essere corretto, o forse, se i difetti fossero così gravi, abbandonato. Almeno, dovrebbe essere stata fatta qualche annotazione che indicava che la versione inviata al Journal era diversa dalla versione finale pubblicata sul sito web.

Penso che PGP abbia rimosso quelle pagine una volta che hanno compreso l'ovvietà degli errori gravi che hanno commesso. Hanno sovvertito i normali processi scientifici in tutti gli altri aspetti di questo lavoro. Perché dovrei—perché chiunque dovrebbe—credere che si preoccupassero di qualcosa di diverso dal salvare la faccia? Se PGP ha qualche prova concreta per supportare la loro affermazione che la decisione di tagliare questa sezione non era correlata al fatto che le loro botnet non erano realmente botnet, dovrebbero venire avanti con quello.

Disumanizzare i legittimi manifestanti

Il rapporto di PGP dipinge un quadro di una rete sofisticata di bot progettata per ingannare le persone facendole credere di essere esseri umani individuali al fine di manipolare il discorso sul vaping. Il fatto che nessuno dei loro migliori esempi avesse alcuna delle caratteristiche di questo tipo di conto (e quattro di loro erano esseri umani che conoscevo realmente) solleva gravi interrogativi sulla affidabilità dell'intero progetto.

La sfera di advocacy del vaping su Twitter è una comunità loosely connected di cittadini individuali che stanno usando i loro account di social media per lo più privati in un contesto specifico. Queste persone non sono su Twitter per il beneficio di ricercatori “di monitoraggio e comunicazione della salute pubblica” opportunistici, che hanno qualcosa da guadagnare raccogliendo il loro contenuto generato dagli utenti e presentandolo fuori contesto per illustrare una teoria incredibilmente implausibile e intellettualmente disonesta secondo cui gli influenti sostenitori del vaping non sono altro che una rete sofisticata di bot maligni, che si fingono duplicitamente umani per diffondere disinformazione nell'interesse di qualche potere corporativo anonimo e senza volto.

Non sono sicuro se la apparente disonestà che permea il rapporto PGP rappresenti il tentativo dell'organizzazione di ingannare il pubblico, o sia più riflesso del fatto che hanno ingannato se stessi.

Ma non importa. Con o senza la sezione “botnets” cancellata, il rapporto di PGP è completamente etico. Questo rapporto non riguardava il contribuire alla conoscenza sulla advocacy per il vaping, ma riguardava la creazione di un’isteria mediatica attorno a una scoperta scioccante che in realtà non è reale. È stato condotto da un gruppo privato, senza nome, di ricercatori di mercato che o non comprendono o non si preoccupano delle norme di lavoro scientifico trasparente, valido e affidabile. Hanno anche ignorato il molto reale squilibrio di potere tra le persone che fanno ricerca sui tweeter del vaping e le vere persone che usano Twitter per sostenere il vaping.

Il rapporto PGP è propaganda mirata a disumanizzare i legittimi manifestanti, a screditare la loro causa e a censurare il loro discorso sulle piattaforme di social media. Il rapporto è stato presentato con il velo della scienza, ma è completamente destinato a servire fini politici.

Ulteriore lettura suggerita: