Studie Twitter bota o vapování je dehumanizující propaganda.

4. října jsem obdržel e-mail od reportéra Wall Street Journal, který chtěl slyšet mé názory na studii o "bot-marketingu e-cigaret" pro příběh, který plánoval.

Myslel jsem, že to souvisí s nedávnou zprávou britské společnosti Astroscreen, která řekla Wired UK, že objevili "koordinovanou, neautentickou kampaň na sociálních sítích, která cíleně útočila na klíčové americké tvůrce politiky v pokusu přinutit je stáhnout plány na legislativu proti vapingu." Ironicky, Astroscreen vytvořil bota, aby pro ně tuto práci vykonal, a protože bot je "proprietární technologie strojového učení" (překlad: nikdo kromě autorů nevidí, jak a proč dospěli k těmto závěrům), opravdu není možné posoudit platnost jejich závěrů.

Byl jsem připraven toto probrat s reportérem, který se se mnou spojil. Ale on se se mnou nekontaktoval ohledně studie o botu Astroscreen.

Reportér WSJ chtěl komentáře k jiné zprávě, od nepojmenovaných výzkumníků v Public Good Projects (PGP) a financované něčím, co se jmenuje Nicholson Foundation. Když jsem řekl, že mě znepokojuje komentovat studii, kterou jsem ještě neviděl nebo o které jsem neslyšel, reportér nabídl, že mi zprávu pošle s podmínkou, že ji nebudu sdílet ani o ní komentovat, dokud se příběh neobjeví. Souhlasil jsem s těmito podmínkami.

Rád bych poukázal na to, jak podivné je, že dvě různé soukromé organizace se rozhodly "odhalit" zjevně rozšířenou činnost "botů" v oblasti prosazování vapingu tím, že unikly neprověřené "studie" do hlavních zpravodajských médií, zjevně bez jakýchkoliv plánů, jak nechat tyto studie posoudit odborníky, a před jakýmikoliv veřejnými vydáními.

Když jsem si přečetl zprávu PGP, všiml jsem si dalších podobností. Jako Astroscreen, PGP byl neomluvně neprůhledný ohledně svých metodologií. Podle PGP jejich analýza nabízí "dosud neviděné informace o roli, kterou boty v současnosti hrají v online konverzaci kolem e-cigaret a tabákových produktů." Konkrétně dospěli k závěru, že "více než polovina všech zpráv přenášených prostřednictvím veřejných mediálních zdrojů ve Spojených státech týkajících se e-cigaret a tabákových produktů může být publikována automatizovanými účty, nebo boty."

Přesto neposkytují žádné užitečné informace o tom, jak k takovému závěru dospěli. Čtenáři mají jednoduše věřit, že zjištění je platné. Ale v zprávě jsem si všiml něčeho, co mi dalo dobrý důvod tomu nevěřit. A protože článek, který nakonec zveřejnil Wall Street Journal, neobsahoval žádný z mých komentářů reportérovi, vysvětlím je zde.

Nicméně, než se k tomu dostanu, podívejme se na některé z širších problémů se zprávou PGP.

Co vlastně znamená "bot"?

Především, PGP je neomluvně vágní ohledně toho, co vlastně udělali, jak to udělali, a co vlastně našli. A to velmi ztěžuje interpretaci prohlášení, která se ve zprávě zdají být přímočará, jako toto: "z celkového vzorku 2,536,659 Twitterových zpráv týkajících se e-cigaret nebo tabáku, 22,6 % zpráv bylo publikováno lidmi, 20,8 % publikováno podezřelými boty a 56,6 % bylo potvrzeno jako generované boty."

Je nemožné smysluplně interpretovat výše uvedenou statistiku, protože nevíme, co PGP myslí pod pojmem boty. Nebo spíše, nevíme, co počítali jako bota, když provedli analýzu. Víme, z toho, jak je zpráva formulována, že PGP chce, abychom přemýšleli o botech v oblasti vapingu jako o automatizovaných účtech, které mají vypadat jako lidé a které operují na šíření dezinformací o nikotinu a e-cigaretách a/nebo je propagují komukoli, zvláště dětem.

Ale to, co PGP chce, abychom si mysleli, když slyšíme slovo "bot", není totéž, co skutečně počítali jako bota v této studii. Tak jak PGP skutečně identifikovalo boty, a co považovali za bota? Tady je, co říkají ve zprávě:

"PGP je schopno identifikovat, které příspěvky mají vysokou pravděpodobnost, že pocházejí od botů, a které mají vysokou pravděpodobnost, že pocházejí od lidí.... Výzkumníci PGP zkoumají různé charakteristiky účtů, aby určili pravděpodobnost, že příspěvek pochází od bota, včetně (ale nejen) frekvence a načasování příspěvků, počtu příspěvků, počtu sledujících a interakce s jinými účty. Boty, zejména ty, které byly vytvořeny se zlým úmyslem, jsou neuvěřitelně nuancované a často jsou navrženy tak, aby vypadaly přesně jako lidé. Proto je jednoduché zkoumání základních vlastností účtů a profilů nedostatečné k posouzení pravděpodobnosti automatizace.”

To je k ničemu. Opravdu mě nezajímá, jak přesné si PGP myslí, že jejich metody jsou; chci si tuto evaluaci udělat sám, a to nemohu na základě informací, které poskytují. Ale všechno, co mi chtějí dát, je tato ochranná a příliš vágní omluva za to, že mi neříkají, na co se vlastně dívali, takže si mohu sám posoudit, zda je jejich studie platná. Cítí, že jejich metody jsou kouzlo a rámují je jako příliš sofistikované pro to, aby je jejich čtenáři pochopili, což je v podstatě velký červený prapor.

PGP včera na Twitteru sdílelo několik dodatečných objasnění ohledně jejich klasifikačního procesu a metodologie, která byla ještě vágnejší a bezvýznamná než to, co řekli v samotné zprávě. Například: "Definujeme "automatizaci" jako skóre od 1 do 100. 100% robot bude dělat věci jako auto-RT, nezveřejňuje žádný originální obsah."

Peter Sterne, svobodný novinář, který píše o mediálním průmyslu, stručně vysvětlil problém s definicí bota PGP v soukromé zprávě mi: "PGP očividně přijala absurdně širokou definici bota (každý, kdo používá jakoukoli aplikaci pro automatické příspěvky), která zahrnuje spoustu skutečných lidí, zatímco silně naznačuje, že všichni "boti" jsou součástí sofistikované operace na sociálních sítích a jejich tweety nemohou být brány jako čistá pravda."

V každém případě, PGP se očividně zajímalo o studium botů, ať už je definovali jakkoli. Proporce botů aktivních v oblasti vapingu a jejich role, kterou mohou hrát v prosazování, je legitimní výzkumná hádanka a myslím, že by mnoho vapeřů považovalo studii, která by na tyto otázky mohla odpovědět, za velmi zajímavou. Ale věc je taková, že PGP nenavrhl studii, která by mohla odpovědět na otázky, které motivovaly jejich zprávu.

Pokud by PGP chtěla pochopit charakteristiky účtů v konkrétní populaci tweeterů (tj. vapeřů), potřebovalo by zjistit způsob, jak získat reprezentativní vzorek účtů z této populace. To je prakticky nemožné, ale to není pointa, protože PGP se zdá, že vůbec nechápe, že by potřebovalo udělat něco podobného. PGP nevzali vzorek účtů, vzali vzorek tweetů. Tyto tweety byly zaslány účty (zjevně), takže nakonec skončili s kolekcí účtů, ale bylo zcela nevhodné, aby výzkumníci postoupili ke zjednání závěrů o populaci účtů, které tweetují o vapingu na základě některých účtů jejichž tweety se náhodou dostaly do jejich vzorku.

Dalším velkým problémem této zprávy je, že vlastně neříká, kolik unikátních účtů mají na mysli. Hlášeny jsou čísla tweetů (pravděpodobně protože tato čísla jsou větší, a PGP nás chce ohromit), ale nevíme, kolik účtů je posílá. A to vlastně hodně záleží, pokud jsou ve vzorku nějaké skutečné boty (a pravděpodobně nějaké jsou), protože nejasný spam-bot s nulovými následovníky naprogramovaný k tweetování stovkykrát denně o vapingu by mohl v celém vzorku vygenerovat nepoměrné množství tweetů, i když bot má malý nebo žádný efekt mimo svou malou izolovanou bublinu.

Tito boti vlastně nejsou boty

Nedostatek transparentnosti, chybějící definice a jasná metodologická nekompetence jsou dostatečným důvodem k podezření na závěry této studie. Ale konkrétní ukazatel, že zjištění PGP nejsou platná, je sekce zprávy, která byla před jejím veřejným vydáním odstraněna. (Na PGP webu si můžete prohlédnout veřejnou verzi.)

Zpět k Wall Street Journal. Když mě požádali, abych komentoval zprávu PGP, poslali mi kopii. Měla 32 stránek. Sekce výsledků měla 15 stránek. A podsekce v rámci výsledků s názvem “Bot Networks” tvořila asi 40 procent těchto výsledků. Skládala se z pěti “mikroúrovňových” analýz takzvaných “bot účtů” a jejich “bot sítí identifikovaných v průběhu [PGP] analytického procesu.” Používají grafy k reprezentaci každé sítě. (Zde je verze, kterou mi dal reportér.)

Každý z grafů PGP byl postaven kolem ohniskového uzlu, reprezentujícího “bota” v analýze PGP. Tento uzel byl propojen s jinými uzly reprezentujícími účty, které retweetly takzvaný botův tweet. Analytici sociálních sítí tyto grafické reprezentace označují jako “ego sítě”, protože zobrazují vztah mezi centrálním uzlem (ego) a připojenými uzly (altery). PGP barevně označil alter uzly podle toho, zda splnily jejich nezveřejněná kritéria pro to, aby byly boty, přičemž bílé uzly představovaly účty, které byly určeny jako lidé. Bílé uzly byly menšinou uzlů ve všech sítích PGP.

PGP chce, abychom věřili, že drtivá většina aktivity na Twitteru týkající se vapingu pravděpodobně není generována skutečnými lidmi. Redigovali jméno “ego” bota uprostřed každé bot sítě. Proč? Ve zprávě tvrdí, že to bylo k ochraně soukromí účtů, ale pokud jsou účty boty, proč na tom záleží?

Upřímně, i když PGP skutečně měl zájem chránit identity bot účtů maskovaných jako skutečné lidi, kteří zasahují do on-line konverzace o vapingu s potenciálně závažnými následky pro veřejné zdraví (nebo alespoň to tvrdí), skutečnost je taková, že si vedli hrozně.

Dokázal jsem snadno identifikovat konkrétní účty, které byly reprezentovány jako centrální uzel v každé z pěti údajných bot sítí, které PGP zahrnul do své původní zprávy. To jsem mohl udělat, protože PGP zahrnul snímky obrazovky tweetů z účtů, které kdokoli mohl napsat do vyhledávacího pole v uživatelském rozhraní Twitteru a získat. Udělal jsem to pro tweety každého účtu, zkontroloval počet jejich následovníků a příspěvků s tím, co PGP hlásil, a ověřil, kdo všichni byli. Celý proces mi trval méně než půl hodiny. A hádejte co? Žádný z těchto účtů není “bot, který se vydává za skutečné lidi.”

Z pěti účtů, které PGP vybral pro diskusi o jejich příkladných bot sítích, byl jen jeden, který jsem neznal. Byl to komerční účet se sídlem ve Velké Británii, který používal Twitter k inzerování svých eBay nabídek různých produktů, včetně e-liquidu a CBD. Vypadal ten účet, že používá automatizaci k tweetování? Ano. Byla nějaká indicie, že by lidé za těmito tweety nebyli? Ne. Mohl by si nějaký rozumný člověk tuto situaci splést s čímkoli jiným než komerčním účtem online obchodní společnosti? Ne. Byla nějaká indicie, že by účet propagoval za svou vlastní síť následovníků? Ne.

Pokud jde o čtyři účty, které jsem znal, tři byly soukromé účty jednotlivců, kteří jsou dlouhodobými obhájci vapingu a zjevně skutečnými lidmi. Ten další byl Twitter účet této publikace. Redaktor zpráv Vaping360 Jim McDonald spravuje a tweetuje z tohoto účtu a Jim není bot.

Takže z pěti údajných botů: jeden je účet pro publikaci o vapingu, kterou spravuje jeden z novinářů, kteří ho používají k publikování článků a interakci s dalšími tweeteri (takže publikuje originální obsah). Tři jsou soukromé osoby, které prosazují vaping. A ten další je nějaký britský maloobchodník. Je pro mě extrémně obtížné věřit, že by kdokoli, kdo je obeznámen s některým z těchto účtů, dospěl k závěru, že jsou to boty, které se vydávají za lidi. Nebo firmy, které se vydávají za individuální lidi. Nebo firmy využívající boty k tomu, aby se vydávaly za individuální lidi. Nebo kdokoli zapojený do nějaké nekalé činnosti.

A to činí rozhodnutí PGP redigovat jména těchto pěti účtů poněkud podezřelým. Především si byli jistě vědomi, že by bylo možné, aby si někdo, kdo se chtěl dozvědět, kdo ty účty jsou, dokázal to zjistit s informacemi, které zveřejnili. Takže nikdo nezajistili nikoho soukromí, jen to udělali o něco pracnější pro někoho, kdo chtěl znát identitu účtů.

Snímky obrazovky, které jsem mohl použít k vyhledání tweetů z těchto účtů, zahrnovaly retweety a odpovědi na účty od “alterů”, kteří také nejsou boty— a nebyla přijata žádná opatření pro ochranu identity těchto účtů. Snímky obrazovky PGP odhalily jména a přezdívky ostatních účtů v takzvaných “botnetech,” pouze ne centrální boty (kteří nejsou boty).

To všechno mě nutí pochybovat, že ochrana soukromí “botů” byla hlavním důvodem, proč PGP skrýval ID účtů. Nedává to smysl, protože ochrany byly pro každého nesmírně snadno obchází, protože ochrany nebyly rozšířeny na účty, které se objevily na snímcích obrazovky, a protože nakonec PGP měl mnohem větší pobídku skrýt tyto informace pro svou vlastní ochranu a ochranu důvěryhodnosti své chybné zprávy, než cokoliv jiného.

Ochrana soukromí nebo zachovaní tváře?

Chtěl bych vědět, proč PGP zveřejnilo jinou verzi zprávy, než kterou sdíleli s Wall Street Journal. Evidentně to chtěl vědět i Gregory Conley, který se jich ptal na tuto volbu na Twitteru. Odpověď PGP na něj byla tato:

“WSJ mělo exkluzivní práva na výzkum a my jsme sdíleli informace během důkladného zkoumání. V jednom okamžiku jsme sdíleli 5 účtů, které měly vysoké skóre automatizace, z více než 1 milionu analyzovaných zpráv. Nechtěli jsme, aby byly tyto účty cílené. Takže ani článek, ani zpráva je nezmiňuje.”

PGP se zde zdá naznačovat, že botnety byly poskytnuty Wall Street Journal jako dodatečný kontext k konečné studii. Pokud analýza, kterou jsem označil jako fatálně chybovou, nikdy neměla být určena pro veřejnou konzumaci, a byla prostě nějakým dodatečným materiálem zaslaným do Journal spolu s oficiální zprávou, to nemění skutečnost, že to podkopává platnost celé studie.

Ale je docela těžké uvěřit, že to neměli v úmyslu mít v konečné verzi. Tato sekce byla uvedena v tabulce obsahu verze zprávy, která mi byla zaslána. To byla klíčová část jejich sekce výsledků, přičemž „botnety“ byly rámovány jako ilustrativní pro abstraktní jev, který tvrdili, že jejich zpráva osvětlila. Nebylo žádné náznak, že tento obsah nebyl určen jako hlavní část konečné zprávy.

Měl jsem dojem, že to, co jsem dostal, byla finální zpráva, a když jsem označil tuto analýzu jako hrubě chybnou (a neetickou), nikdo mi nikdy neřekl, že to byla pouze povrchní část studie nebo specifická pro Wall Street Journal. I když nemohu říci s jistotou, reportér, který mi to poslal, se zdál mít dojem, že to byla také finální verze. A opravdu, kdo by poslal pracovní verzi revoluční zprávy novinám, kterým nabízíte exkluzivní zprávu? To se opravdu moc nedává smysl. Dokument, který zahrnoval nyní smazanou analýzu botnetu, byl vyleštěný, smazaná část byla součástí obsahu, nic nenaznačuje, že to nebylo zamýšleno jako finální produkt.

Pokud by PGP zjistili, jak špatně tuto analýzu zpackali, mělo by je to přimět zpochybnit platnost jejich celé studie. Zodpovědné, intelektuálně poctivé a transparentní by bylo požádat noviny, aby zadržely nebo zrušily svůj příběh, aby mohl být zpráva opravena, nebo pokud byly nedostatky tak vážné, opuštěna. V každém případě by mělo být učiněno nějaké poznámka naznačující, že verze zaslaná do Žurnálu byla jiná než finální verze publikovaná na webových stránkách.

Myslím, že PGP odstranil ty stránky, jakmile pochopili zřejmost vážných chyb, které udělali. Opařili normální vědecké procesy ve všech ostatních ohledech této práce. Proč bych měl já—proč by měl kdokoli—věřit, že se starali o cokoliv jiného než o zachování tváře? Pokud má PGP nějaké skutečné konkrétní důkazy na podporu svého tvrzení, že rozhodnutí o odstranění této části nesouviselo s tím, že jejich botnety ve skutečnosti nebyly botnety, měli by s tím přijít ven.

Dehumanizace legitimních protestujících

Zpráva PGP vykresluje obraz sofistikované sítě botů navržených tak, aby oklamali lidi v tom, že věří, že jsou jednotliví lidé, aby mohli manipulovat s diskurzem o vaping. Skutečnost, že žádný z jejich nejlepších příkladů neměl žádné z charakteristik tohoto typu účtu (a čtyři z nich byli lidé, které jsem vlastně znal), vyvolává vážné otázky o spolehlivosti celého podniku.

Sféru obhajoby vapingu na Twitteru tvoří volně propojená komunita jednotlivých občanů, kteří používají své převážně soukromé účty na sociálních médiích v konkrétním kontextu. Tito lidé nejsou na Twitteru ve prospěch oportunistických výzkumníků "monitorování a komunikace veřejného zdraví", kteří mají co získat tím, že sklízejí jejich uživatelský generovaný obsah a prezentují jej mimo kontext, aby ilustrovali neuvěřitelnou a intelektuálně nepoctivou teorii, že vlivní obhájci vapingu nejsou ničím jiným než sofistikovanou sítí zlomyslných botů, kteří se zlovolně vydávají za lidi, aby šířili dezinformace v zájmu jakési bezejmenné, beztvářné korporátní moci.

Nedokážu si být jistý, zda zjevná nepoctivost, která prostupuje PGP zprávou, představuje pokus organizace o oklamání veřejnosti, nebo je to spíše odraz toho, že oklamali sami sebe.

Ale na tom nezáleží. S nebo bez odstraněné sekce „botnets“ je zpráva PGP naprosto neetická. Tato zpráva nebyla o přispění k vědomostem o obhajobě vapingu, byla o vyvolání mediálního šílenství kolem šokujícího zjištění, které ve skutečnosti není pravdivé. Byla provedena soukromou, nejmenovanou skupinou tržních výzkumníků, kteří buď nerozumějí, nebo jim nezáleží na normách transparentní, platné a spolehlivé vědecké práce. Také ignorovali velmi reálnou mocenskou nerovnost mezi lidmi, kteří provádějí výzkum na tweeterích o vapingu, a skutečnými lidmi, kteří používají Twitter k obhajobě vapingu.

Zpráva PGP je propaganda zaměřená na dehumanizaci legitimních protestujících, diskreditaci jejich cíle a cenzuru jejich projevů na platformách sociálních médií. Zpráva byla prezentována s vnějším vzhledem vědy, ale má zcela za cíl sloužit politickým účelům.

Navrhované další čtení: