Vaping Twitter Bot Studie är dehumaniserande propaganda

Den 4 oktober fick jag ett e-postmeddelande från en reporter på Wall Street Journal som ville ha mina tankar om en studie om “bot-marknadsföring av e-cigaretter” för en historia som han planerade.

Jag antog att detta handlade om en nyligen rapport från det brittiska företaget Astroscreen, som berättade för Wired UK att de upptäckte en “koordinerad, oäkta kampanj på sociala medier som har riktat sig explicit mot nyckelpersoner i USA med syftet att tvinga dem att dra tillbaka planerna för anti-vaping lagstiftning.” Ironiskt nog hade Astroscreen byggt en bot för att göra sitt arbete åt dem, och eftersom boten är “ägd maskininlärningsteknologi” (översättning: ingen annan än författarna kan se hur eller varför de kom till sina slutsatser), finns det egentligen inget sätt att bedöma giltigheten av deras slutsatser.

Jag var beredd att diskutera detta med reportern som kontaktade mig. Men han kontaktade mig inte angående Astroscreen-botstudien.

WSJ-reportern ville ha kommentarer om en annan rapport, från namnlösa forskare vid Public Good Projects (PGP) och finansierad av något som kallas Nicholson Foundation. När jag sa att jag kände mig obekväm med att kommentera en studie som jag inte hade sett eller läst om än, erbjöd reportern att skicka mig rapporten under förutsättning att jag inte delade eller kommenterade den förrän efter att historien publicerats. Jag gick med på dessa villkor.

Låt mig påpeka hur konstigt det är att två distinkta privata organisationer beslutade att “avslöja” uppenbarligen utbredd “bot”-aktivitet inom vaping-förespråkarskapet genom att läcka ovetade “studier” till stora nyhetsmedier, uppenbarligen utan några planer på att få dessa studier granskade av kollegor, och innan någon offentlig publicering.

När jag läste PGP-rapporten, märkte jag andra likheter. Som Astroscreen, var PGP oförlåtligt otydliga om sina metoder. Enligt PGP erbjuder deras analys “aldrig tidigare sedda uppgifter om den roll som bots för närvarande spelar i online-konversationer kring e-cigaretter och tobaksprodukter.” Specifikt drar de slutsatsen att “mer än hälften av alla meddelanden som överförs genom offentliga mediekällor i USA angående e-cigaretter och tobaksprodukter kan ha postats av automatiserade konton, eller bots.”

Ändå ger de ingen användbar information om hur de kom till sådan en slutsats. Läsare förväntas bara lita på att fyndet är giltigt. Men jag la märke till något i rapporten som gav mig god anledning att inte lita på den. och, eftersom artikeln som Wall Street Journal så småningom publicerade inte inkluderade några av mina kommentarer till reportern, kommer jag att förklara dem här.

Men innan jag kommer till det, låt oss se på några av de bredare problemen med PGP:s rapport.

Vad menar de med “bot” överhuvudtaget?

Först och främst är PGP oförlåtligt vaga när det gäller vad de faktiskt gjorde, hur de gjorde det, och vad de faktiskt fann. Och detta gör det mycket svårt att tolka uttalanden som verkar självklar i rapporten, som denna: "out of a total sample of 2,536,659 Twitter messages related to e-cigarettes or tobacco, 22.6% of messages were posted by humans, 20.8% posted by suspected bots, and 56.6% are confirmed to have been generated by bots."

Det är omöjligt att meningsfullt tolka ovanstående statistik eftersom vi inte vet vad PGP menar med bots. Eller snarare, vi vet inte vad de räknade som en bot när de gjorde analysen. Vi vet, utifrån hur rapporten är formulerad, att PGP vill att vi ska tänka på bots inom vaping som automatiserade konton, designade för att se ut som människor, som verkar för att sprida desinformation om nikotin och e-cigaretter, och/eller marknadsföra dem till vem som helst, särskilt barn.

Men vad PGP vill att vi ska tänka på när vi hör “bot” är inte detsamma som vad de faktiskt räknade som en bot i denna studie. Så hur identifierade PGP egentligen bots, och vad ansåg de vara en bot? Här är vad de säger i rapporten:

“PGP kan identifiera vilka inlägg som har en hög sannolikhet att komma från bots och vilka som har en hög sannolikhet att komma från människor…. PGP-forskare undersöker flera kontoegenskaper för att bestämma sannolikheten för att ett inlägg kommer från en bot, inklusive (men inte begränsat till) frekvens och tid för inlägg, antalet inlägg, antalet följare, och engagemang med andra konton. Bots, särskilt de som skapats med illvilliga avsikter, är otroligt nyanserade och är ofta designade för att se ut exakt som en människa. Därför är en enkel granskning av grundläggande konto- och profilkarakteristik otillräcklig för att bedöma sannolikheten för automation.”

Detta är värdelöst. Jag bryr mig inte om hur noggrant PGP tycker att deras metoder är; jag vill göra den bedömningen själv, och jag kan inte baserat på den information de tillhandahåller. Men allt de vill ge mig är denna nedlåtande och överdrivet vaga ursäkt för att inte berätta vad de faktiskt tittade på, så att jag kan bedöma för mig själv om deras studie är giltig. De behandlar sina metoder som magi och ramar in dem som för sofistikerade för deras läsare att förstå, vilket i grunden är en stor röd flagga.

PGP delade några post-hoc förtydliganden på Twitter igår om deras klassificeringsprocess och metodik som var ännu mer vaga och meningslösa än vad de sa i den faktiska rapporten. Till exempel: “Vi definierar “automation" som ett betyg från 1-100. En 100% robot kommer att göra saker som auto-RT, publicera inget originalinnehåll.”

Peter Sterne, en frilansjournalist som skriver om mediebranschen, formulerade kortfattat problemet med PGP:s bot-definition i ett privat meddelande till mig: “PGP har uppenbarligen antagit en absurt bred definition av bot (vem som helst som använder någon auto-posting-app) som sveper in många verkliga människor, medan de starkt antyder att alla “bots” är en del av en sofistikerad social media-operation och deras tweets kan inte tas bokstavligt.”

Hur som helst, PGP var uppenbarligen intresserade av att studera bots, hur de än har definierat dem. Andelen bots som är aktiva inom vaping-området, och den roll de kan spela i förespråkande är en legitim forskningspussel, och jag tror att många vapers skulle tycka att en studie som kan besvara dessa frågor är ganska intressant. Men saken är den, PGP designade inte en studie som kunde besvara de frågor som motiverade deras rapport.

Om PGP ville förstå egenskaperna hos konton i en särskild population av tweeters (dvs. vapers) skulle de behöva ta reda på ett sätt att få ett representativt urval av konton från den populationen. Detta är praktiskt taget omöjligt, men det är vid sidan av poängen eftersom PGP inte ens tycks förstå att de skulle behöva göra något som detta överhuvudtaget. PGP tog inte prov på konton, de tog prov på tweets. Dessa tweets skickades av konton (uppenbarligen) så de slutade faktiskt med en samling av konton, men det var helt olämpligt för forskarna att fortsätta att göra slutsatser om populationen av konton som tweetar om vaping på grundval av några konton vars tweets av en slump hamnade i deras urval.

Det andra stora problemet med rapporten är att den faktiskt inte säger hur många unika konton de pratar om här. De rapporterar antal tweets (antagligen för att dessa siffror är större, och PGP vill imponera på oss), men vi vet inte hur många konton som skickar dem. Och detta spelar faktiskt en stor roll om det finns några riktiga bots i urvalet (och det finns troligen några) för en obskyr spam-bot med noll följare programmerad att tweeta hundratals gånger per dag om vaping kan ha genererat ett oproportionerligt antal av tweets i hela urvalet, även om boten har lite till ingen effekt utanför sin lilla isolerade bubbla.

Dessa bots är inte bots alls

Bristen på transparens, avsaknad av definitioner och tydlig metodologisk inkompetens är tillräckliga skäl att misstänka slutsatserna i denna studie. Men den konkreta indikationen på att PGP:s fynd inte är giltiga är en sektion av rapporten som togs bort innan den offentliggjordes. (Du kan se den offentliga versionen på PGP:s webbplats.)

Tillbaka till Wall Street Journal. När de bad mig kommentera PGP-rapporten, skickade de mig en kopia. Den var 32 sidor lång. Resultatsavsnittet var 15 sidor långt. Och en underavsnitt inom resultaten, med titeln “Bot-nätverk”, upptog cirka 40 procent av dessa resultat. Det bestod av fem “mikronivå” analyser av så kallade “bot-konton” och deras “bot-nätverk identifierade genom [PGP:s] analysprocess.” De använder grafer för att representera varje nätverk. (Här är den version jag fick av reportern.)

Varje av PGP:s grafer byggdes runt en fokal nod, som representerade en “bot” i PGP-analysen. Den noden var kopplad till andra noder som representerade konton som retweetade den så kallade botens tweet. Sociala nätverksanalytiker kallar dessa grafiska representationer för “ego-nätverk,” eftersom de visar relationen mellan en central nod (”ego”) och anslutna noder (”alters”). PGP färgkodade alter-noderna beroende på huruvida de uppfyllde deras icke-offentliggjorda kriterier för att vara en bot, där vita noder representerade konton som ansågs vara människor. Vita noder var minoriteten av noder i alla av PGP:s nätverk.

PGP vill att vi ska tro att den absoluta majoriteten av Twitter-aktivitet kring vaping troligen inte genereras av riktiga människor. De redigerade namnet på “ego”-boten i centrum av varje botnätverk. Varför? I rapporten påstår de att detta var för att skydda kontonas integritet, men om kontona är bots, varför spelar detta någon roll?

Uppriktigt sagt, även om PGP faktiskt var intresserade av att skydda identiteterna hos bot-konton som utger sig för att vara riktiga människor som blandar sig i online vaping-diskurs med potentiellt allvarliga konsekvenser för folkhälsan (eller så säger de), är faktum att de gjorde ett fruktansvärt jobb.

Jag kunde lätt identifiera de specifika konton som representerades som centrala noder i var och en av de fem påstådda bot-nätverk som PGP inkluderade i sin ursprungliga rapport. Jag kunde göra detta eftersom PGP inkluderade skärmdumpar av tweets från kontona som vem som helst kunde skriva in i sökfältet i Twitter-användargränssnittet och hämta. Jag gjorde det för tweetsen från varje konto, kontrollerade deras följare och inläggsantal med vad PGP rapporterade, och verifierade vilka alla de var. Hela processen tog mig mindre än en halvtimme. Och gissa vad? Inga av dessa konton är “bots som utger sig för att vara riktiga människor.”

Av de fem konton som PGP valde för sin exemplifierande diskussion om bot-nätverk, var det bara ett jag inte kände igen. Det var ett kommersiellt konto baserat i Storbritannien, som använde Twitter för att annonsera sina eBay-listningar för olika produkter, inklusive e-vätska och CBD. Verkar kontot använda automation för att posta tweets? Ja. Finns det någon indikation på att människor inte låg bakom dessa tweets? Nej. Skulle någon rimlig person förväxla detta med något annat än ett online handelsföretags kommersiella konto? Nej. Finns det någon indikation på att kontot främjade bortom sitt eget följar-nätverk? Nej.

När det gäller de fyra konton jag var bekant med, var tre privata konton av individer som är långvariga vaping-förespråkare, och uppenbart riktiga människor. Det andra var Twitter-kontot för denna publikation. Vaping360:s nyhetsredaktör Jim McDonald hanterar och tweetar från detta konto, och Jim är inte en bot.

Så av de fem påstådda bots: en är kontot för en vaping-publikation som drivs av en av journalisterna som använder det för att posta artiklar och interagera med andra tweeters (så han postar originalinnehåll). Tre är privata individer som förespråkar för vaping. Och den andra är en brittisk återförsäljare. Det är extremt svårt för mig att tro att någon som är bekant med något av dessa konton skulle dra slutsatsen att de är bots som utger sig för att vara människor. Eller företag som utger sig för att vara individuella människor. Eller företag som använder bots för att utge sig för att vara individuella människor. Eller någon inblandad i något oetiskt aktivitet, för den delen.

Och detta gör PGP:s beslut att redigera namnen på dessa fem konton lite misstänksam. Först och främst, visste de nog att det skulle vara möjligt för någon som ville veta vilka kontona var att räkna ut det med informationen de gjorde tillgänglig. Så de skyddade ingen annan integritet, de gjorde bara det något mer arbetsamt för någon som ville veta identiteten på kontona att hitta den informationen.

Skärmdumparna jag kunde använda för att söka tweets från dessa konton inkluderade retweets och svar till kontona från “alters” som också inte är bots—och inga åtgärder vidtogs för att skydda identiteten av dessa konton. PGP:s skärmdumpar avslöjade namnen och handtagen av andra konton i de så kallade “bot-nätverken,” bara inte de centrala bots (som inte är bots).

Allt detta gör det svårt för mig att tro att skyddet av integriteten hos “bots” var den huvudsakliga orsaken till att PGP gömde konto-ID:erna. Det är inte logiskt eftersom skydden var extremt lätt för någon att kringgå, eftersom skydden inte utvidgades till de konton som visades i skärmdumpar, och eftersom PGP i slutändan hade ett mycket större incitament att dölja denna information för sin egen skydd och för att skydda trovärdigheten av sin bristfälliga rapport än något annat.

Skydda integritet eller rädda ansiktet?

Jag skulle vilja veta varför PGP publicerade en annan version av rapporten än den de delade med Wall Street Journal. Tydligen gjorde även Gregory Conley det, som bad dem att redogöra för detta val på Twitter. PGP:s svar till honom var detta:

“WSJ hade en exklusivitet på forskningen och vi delade information under due diligence. Vid ett tillfälle delade vi 5 konton som hade hög automatiseringspoäng, av de 1 miljon+ meddelanden som analyserades. Vi ville inte att de kontona skulle riktas. Så varken artikeln eller rapporten nämner dem.”

PGP verkar här antyda att bot-näten gavs till Wall Street Journal som ytterligare kontext till den slutgiltiga studien. Om den analys jag markerade som fatalt bristfällig egentligen aldrig var avsedd för offentlig konsumtion, utan bara något ytterligare material som skickades till Journal tillsammans med den officiella rapporten, förändrar det inte faktum att det underminerar giltigheten av hela studien.

Men det är ganska svårt att tro att de inte avsåg att ha detta i den slutliga versionen. Avsnittet var listat i innehållsförteckningen i den version av rapporten som skickades till mig. Detta var en kärndel av deras resultatdel, med "botnets" inramad som illustrativ för det abstrakta fenomen de hävdade att deras rapport belyste. Det fanns ingen indikation på att detta innehåll inte var avsett att vara en stor del av den slutliga rapporten.

Jag fick intrycket av att det jag fick var den slutgiltiga rapporten, och när jag påpekade att denna analys var grovt felaktig (och oetisk) fick jag aldrig veta att det var en översiktlig del av studien eller specifik för Wall Street Journal. Även om jag inte kan säga med säkerhet, verkade reportern som skickade den till mig vara under intrycket att detta också var den slutgiltiga versionen. Och verkligen, vem skulle skicka arbetsutkastet av en banbrytande rapport till en tidning som du erbjuder en exklusivitet till? Det är inte riktigt logiskt. Dokumentet som inkluderade den nu borttagna botnetanalysen var polerat, den borttagna sektionen var en del av innehållsförteckningen, ingenting tyder på att detta inte var avsett att vara den slutgiltiga produkten.

Om PGP fick reda på hur illa de hade misslyckats med denna analys, borde det ha fått dem att ifrågasätta giltigheten av hela deras studie. Det ansvarsfulla, intellektuellt ärliga och transparenta att göra här skulle vara att be tidningen att hålla inne eller avbryta deras artikel så att rapporten kunde rättas, eller kanske, om felen var så allvarliga, överge den. Åtminstone borde en notis ha gjorts som indikerade att versionen som skickades till Journalen var annorlunda än den slutgiltiga versionen som publicerades på webbplatsen.

Jag tror att PGP tog bort de där sidorna när de förstod självklarheten i de allvarliga fel de gjorde. De undergrävde normala vetenskapliga processer i alla andra avseenden av detta arbete. Varför skulle jag—varför skulle någon—tro att de brydde sig om något annat än att rädda sitt ansikte? Om PGP har något faktisk konkret bevis för att stödja sitt påstående att beslutet att ta bort detta avsnitt var orelaterat till att deras botnets faktiskt inte var botnets, borde de träda fram med det.

Avhumaniserande legitima protesterare

PGP:s rapport målar en bild av ett sofistikerat nätverk av botar designade för att lura människor att tro att de är individuella människor för att manipulera diskursen om vaping. Faktumet att inga av deras bästa exempel hade några av kännetecknen för denna typ av konto (och fyra av dem var människor jag faktiskt råkade känna) väcker allvarliga frågor om tillförlitligheten hos hela företaget.

Den vaping advocacy sfären på Twitter är en löst kopplad gemenskap av enskilda medborgare som använder sina mestadels privata sociala mediekonton i ett specifikt sammanhang. Dessa människor är inte på Twitter till fördel för opportunistiska “offentlig hälsa övervakning och kommunikation” forskare, som har något att vinna på att skörda deras användargenererat innehåll och presentera det ur sitt sammanhang för att illustrera en vilt osannolik och intellektuellt oärlig teori att inflytelserika vape-förespråkare inte är mer än ett sofistikerat nätverk av ondsinta bots, som duplicitöst poserar som människor för att sprida desinformation i intresset av någon namnlös, ansiktslös, företagsmakt.

Jag är inte säker på om den uppenbara oärligheten som genomsyrar PGP-rapporten representerar organisationens försök att lura allmänheten, eller om det mer återspeglar det faktum att de har lurat sig själva.

Men det spelar ingen roll. Med eller utan den borttagna "botnets"-sektionen är PGP:s rapport helt oetisk. Denna rapport handlade inte om att bidra till kunskap om lobbying för vaping, utan om att skapa en mediefrenzy kring en chockerande upptäckte som inte faktiskt är verklig. Den genomfördes av en privat, namnlös grupp av marknadsforskare som antingen inte förstår eller inte bryr sig om normerna för transparent, giltigt och pålitligt vetenskapligt arbete. De ignorerade också den mycket verkliga maktobalansen mellan de som forskar om vaping-twittrare och de verkliga personer som använder Twitter för att förespråka för vaping.

PGP-rapporten är propaganda som syftar till att avhumanisera legitima protesterare, diskreditera deras sak och censurera deras tal på sociala medieplattformar. Rapporten presenterades med en yta av vetenskap, men den är helt avsedd att tjäna politiska syften.

Föreslagen vidare läsning: