L'étude du bot Twitter sur le vapotage est une propagande déshumanisante.

Le 4 octobre, j'ai reçu un courriel d'un reporter du Wall Street Journal qui voulait connaître mon avis sur une étude concernant le « marketing des e-cigarettes par des bots » pour un article qu'il prévoyait.

Je pensais qu'il s'agissait d'un rapport récent de la société britannique Astroscreen, qui a dit à Wired UK qu'ils avaient découvert qu'une « campagne de médias sociaux coordonnée et inauthentique avait explicitement ciblé des décideurs clés aux États-Unis dans une tentative de les forcer à retirer leurs projets de législation anti-vaping. » Ironiquement, Astroscreen avait construit un bot pour faire leur travail à leur place, et parce que le bot est une « technologie d'apprentissage machine propriétaire » (traduction : personne d'autre que les auteurs ne peut voir comment ou pourquoi ils ont tiré leurs conclusions), il n'y a vraiment aucun moyen d'évaluer la validité de leurs conclusions.

J'étais prêt à en discuter avec le reporter qui m'avait contacté. Mais il ne me contactait pas au sujet de l'étude sur le bot d'Astroscreen.

Le reporter du WSJ voulait des commentaires sur un autre rapport, par des chercheurs non nommés au Public Good Projects (PGP) et financé par quelque chose appelé la Fondation Nicholson. Lorsque j'ai dit que je n'étais pas à l'aise pour commenter une étude que je n'avais pas encore vue ou lue, le reporter a proposé de m'envoyer le rapport à condition que je ne le partage ni ne le commente jusqu'après la publication de l'histoire. J'ai accepté ces conditions.

Permettez-moi de souligner à quel point il est étrange que deux organisations privées distinctes aient décidé de « dénoncer » l’activité de « bots » apparemment rampant dans l'espace de plaidoyer pour le vaping en fuyant des « études » non vérifiées à des médias majeurs, apparemment sans aucun plan pour faire réviser ces études par des pairs, et avant toute publication publique.

Lorsque j'ai lu le rapport du PGP, j'ai remarqué d'autres similitudes. Comme Astroscreen, le PGP était inexcusablement opaque sur leurs méthodologies. Selon le PGP, leur analyse offre « des informations jamais vues auparavant sur le rôle que jouent actuellement les bots dans la conversation en ligne autour des e-cigarettes et des produits du tabac. » Spécifiquement, ils concluent que « plus de la moitié de tous les messages transmis par les sources de médias publics aux États-Unis concernant les e-cigarettes et les produits du tabac peuvent être publiés par des comptes automatisés, ou des bots. »

Néanmoins, ils ne fournissent aucune information utile sur la façon dont ils en sont arrivés à une telle conclusion. Les lecteurs sont simplement censés faire confiance à la validité de la découverte. Mais j'ai remarqué quelque chose dans le rapport qui m'a donné de bonnes raisons de ne pas le croire. Et, puisque l'article que le Wall Street Journal a finalement publié n'incluait aucun de mes commentaires au reporter, je les expliquerai ici.

Cependant, avant d'aborder cela, examinons certains des problèmes plus larges avec le rapport du PGP.

Que veulent-ils dire par « bot » de toute façon ?

Tout d'abord, le PGP est inexcusablement vague sur ce qu'ils ont réellement fait, comment ils l'ont fait, et ce qu'ils ont réellement trouvé. Et cela rend très difficile l'interprétation des déclarations qui semblent simples dans le rapport, comme celle-ci : "sur un échantillon total de 2 536 659 messages Twitter liés aux e-cigarettes ou au tabac, 22,6 % des messages ont été publiés par des humains, 20,8 % publiés par des bots soupçonnés, et 56,6 % ont été confirmés comme ayant été générés par des bots."

Il est impossible d'interpréter de manière significative la statistique ci-dessus parce que nous ne savons pas ce que le PGP entend par bots. Ou plutôt, nous ne savons pas ce qu'ils ont compté comme un bot lorsqu'ils ont fait l'analyse. Nous savons, d'après la façon dont le rapport est présenté, que le PGP veut que nous pensions aux bots dans le vape comme des comptes automatisés, conçus pour sembler humains, qui agissent pour diffuser de la désinformation sur la nicotine et les e-cigarettes, et/ou les faire de la publicité à quiconque, surtout aux enfants.

Mais ce que le PGP veut que nous pensions lorsque nous entendons « bot » n'est pas la même chose que ce qu'ils ont réellement compté comme un bot dans cette étude. Donc, comment le PGP a-t-il réellement identifié les bots et qu'ont-ils considéré comme un bot ? Voici ce qu'ils disent dans le rapport :

« Le PGP est capable d'identifier quels posts ont une forte probabilité d'origine de bots et lesquels ont une forte probabilité d'origine humaine…. Les chercheurs du PGP examinent plusieurs caractéristiques de comptes pour déterminer la probabilité qu'un post provienne d'un bot, y compris (mais sans s'y limiter) la fréquence et le timing des posts, le nombre de posts, le nombre de followers, et l'engagement avec d'autres comptes. Les bots, en particulier ceux créés avec une intention malveillante, sont incroyablement nuancés et sont souvent conçus pour sembler exactement comme un humain. Par conséquent, un examen simple des caractéristiques de compte et de profil de base est insuffisant pour évaluer la probabilité d'automatisation. »

C'est inutile. Je me fiche de savoir à quel point le PGP pense que leurs méthodes sont précises ; je veux pouvoir faire cette évaluation moi-même, et je ne peux pas en me basant sur les informations qu'ils fournissent. Mais tout ce qu'ils veulent me donner, c'est cette excuse condescendante et excessivement vague pour ne pas me dire ce qu'ils ont réellement regardé, afin que je puisse juger par moi-même si leur étude est valide. Ils traitent leurs méthodes comme de la magie et les présentent comme trop sophistiquées pour que leurs lecteurs les comprennent, ce qui est en gros un énorme drapeau rouge.

Le PGP a partagé quelques clarifications post-hoc sur Twitter hier concernant leur processus de classification et leur méthodologie qui étaient encore plus vagues et sans signification que ce qu'ils ont dit dans le rapport réel. Par exemple : « Nous définissons « automatisation » comme un score de 1 à 100. Un robot à 100 % fera des choses comme auto-RT, sans publier de contenu original. »

Peter Sterne, un journaliste indépendant qui écrit sur l'industrie des médias, a succinctement articulé le problème avec la définition des bots du PGP dans un message privé : « Le PGP a apparemment adopté une définition de bot incroyablement large (quiconque utilise n'importe quelle application de publication automatique) qui englobe beaucoup de vraies personnes, tout en impliquant fortement que tous les « bots » font partie d'une opération sophistiquée de médias sociaux et que leurs tweets ne peuvent pas être pris au pied de la lettre. »

Quoi qu'il en soit, le PGP était visiblement intéressé à étudier les bots, peu importe comment ils les ont définis. La proportion de bots actifs dans l'espace du vaping, et le rôle qu'ils peuvent jouer dans le plaidoyer, est un véritable problème de recherche, et je pense qu'un grand nombre de vapoteurs trouveraient une étude qui pourrait répondre à ces questions assez intéressante. Mais le fait est que le PGP n'a pas conçu une étude qui pourrait répondre aux questions motivant leur rapport.

Si le PGP voulait comprendre les caractéristiques des comptes dans une population particulière de tweeteurs (c'est-à-dire, les vapoteurs), ils devraient trouver un moyen d'obtenir un échantillon représentatif de comptes de cette population. C'est pratiquement impossible, mais cela n'est pas le point car le PGP semble même ne pas comprendre qu'ils auraient besoin de faire quelque chose comme cela. Le PGP n'a pas échantillonné des comptes, ils ont échantillonné des tweets. Ces tweets ont été envoyés par des comptes (évidemment), donc ils ont fini par obtenir une collection de comptes, mais il était complètement inapproprié pour les chercheurs de procéder à des inférences sur la population de comptes qui tweetent sur le vaping sur la base de certains comptes dont les tweets ont fini par se retrouver dans leur échantillon.

Le autre grand problème avec le rapport est qu'il ne dit pas vraiment combien de comptes uniques ils parlent ici. Ils rapportent des chiffres de tweets (probablement parce que ces nombres sont plus grands, et le PGP veut nous impressionner), mais nous ne savons pas combien de comptes les envoient. Et cela a vraiment beaucoup d'importance s'il y a des véritables bots dans l'échantillon (et il y en a probablement quelques-uns) parce qu'un obscure spam-bot avec zéro followers programmé pour tweeter des centaines de fois par jour sur le vaping pourrait avoir généré un nombre disproportionné des tweets dans l'ensemble de l'échantillon, même si le bot a peu ou pas d'effet au-delà de sa toute petite bulle isolée.

Ces bots ne sont pas des bots du tout

Le manque de transparence, l'absence de définitions, et l'incompétence méthodologique claire sont des raisons suffisantes pour soupçonner les conclusions de cette étude. Mais l'indicateur concret que les conclusions du PGP ne sont pas valides est une section du rapport qui a été supprimée avant sa publication publique. (Vous pouvez voir la version publique sur le site Web du PGP.)

Retour au Wall Street Journal. Quand ils m'ont demandé de commenter le rapport du PGP, ils m'en ont envoyé une copie. Elle faisait 32 pages. La section des résultats faisait 15 pages. Et une sous-section au sein des résultats, intitulée « Réseaux de bots », occupait environ 40 % de ces résultats. Elle consistait en cinq analyses « micro-niveau » des soi-disant « comptes de bots » et de leurs « réseaux de bots identifiés tout au long du processus d'analyse [du PGP]. » Ils utilisent des graphiques pour représenter chaque réseau. (Voici la version que j'ai reçue du reporter.)

Chacune des graphes de PGP était construite autour d'un nœud central, représentant un "bot" dans l'analyse de PGP. Ce nœud était lié à d'autres nœuds représentant des comptes qui ont retweeté le tweet du soi-disant bot. Les analystes des réseaux sociaux font référence à ces représentations graphiques comme des "réseaux égo," car ils décrivent la relation entre un nœud central (l'"égo") et les nœuds connectés ("alters"). PGP a codé en couleur les nœuds alter selon qu'ils répondaient ou non à leurs critères non divulgués pour être un bot, les nœuds blancs représentant des comptes jugés humains. Les nœuds blancs étaient la minorité des nœuds dans tous les réseaux de PGP.

PGP veut nous faire croire que la grande majorité de l'activité sur Twitter concernant le vapotage n'est probablement pas générée par de véritables êtres humains. Ils ont supprimé le nom du bot "égo" au centre de chaque botnet. Pourquoi ? Dans le rapport, ils affirment que c'était pour protéger la vie privée des comptes, mais si les comptes sont des bots, pourquoi cela a-t-il de l'importance ?

Franchement, même si PGP était réellement intéressé par la protection des identités des comptes de bots déguisés en vraies personnes qui interférent dans le discours en ligne sur le vapotage avec des conséquences potentiellement graves pour la santé publique (ou du moins le disent-ils), la réalité est qu'ils ont fait un travail terrible.

J'ai pu facilement identifier les comptes spécifiques représentés comme le nœud central dans chacun des cinq réseaux de bots supposés que PGP a inclus dans son rapport original. J'ai pu le faire parce que PGP a inclus des captures d'écran de tweets des comptes que n'importe qui pouvait taper dans la barre de recherche de l'interface utilisateur Twitter et récupérer. J'ai fait cela pour les tweets de chaque compte, vérifié leur nombre de followers et de publications avec ce que PGP a rapporté, et vérifié qui ils étaient tous. L'ensemble du processus m'a pris moins d'une demi-heure. Et devinez quoi ? Aucun de ces comptes n'est un "bot se faisant passer pour de réels humains."

Parmi les cinq comptes que PGP a choisis pour leur discussion sur les réseaux de bots exemplaires, il n'y en avait qu'un que je ne reconnaissais pas. C'était un compte commercial basé au Royaume-Uni, utilisant Twitter pour faire de la publicité pour ses annonces eBay de divers produits, y compris des e-liquides et du CBD. Le compte semblait utiliser l'automatisation pour publier des tweets ? Oui. Y avait-il des indications que des gens n'étaient pas derrière ces tweets ? Non. Une personne raisonnable pourrait-elle confondre cela avec quoi que ce soit d'autre qu'un compte commercial d'une entreprise de commerce en ligne ? Non. Y avait-il des indications que le compte faisait la promotion au-delà de son propre réseau de followers ? Non.

En ce qui concerne les quatre comptes que je connaissais, trois étaient des comptes privés d'individus qui sont, depuis longtemps, des défenseurs du vapotage, et des personnes clairement réelles. L'autre était le compte Twitter de cette publication même. Le rédacteur en chef de Vaping360, Jim McDonald, gère et tweet depuis ce compte, et Jim n'est pas un bot.

Ainsi, parmi les cinq soi-disant bots : un est le compte d'une publication sur le vapotage qui est géré par l'un des journalistes qui l'utilise pour publier des articles et interagir avec d'autres twitteurs (donc il publie du contenu original). Trois sont des individus privés qui plaident pour le vapotage. Et l'autre est un détaillant britannique. Il est extrêmement difficile pour moi de croire que quelqu'un qui connaît l'un de ces comptes conclurait qu'il s'agit de bots se faisant passer pour des humains. Ou des entreprises se faisant passer pour des humains individuels. Ou des entreprises utilisant des bots pour se faire passer pour des humains individuels. Ou quiconque impliqué dans une activité néfaste, d'ailleurs.

Et cela rend la décision de PGP de supprimer les noms de ces cinq comptes un peu suspecte. Tout d'abord, ils savaient sûrement qu'il serait possible pour quelqu'un qui voulait savoir qui étaient les comptes de le découvrir avec les informations qu'ils ont mises à disposition. Donc, ils n'ont protégé la vie privée de personne, ils ont juste rendu un peu plus laborieux pour quelqu'un qui voulait connaître l'identité des comptes de trouver cette information.

Les captures d'écran que j'ai pu utiliser pour rechercher des tweets provenant de ces comptes comprenaient des retweets et des réponses aux comptes par des "alters" qui ne sont également pas des bots—et aucune mesure n'a été prise pour protéger les identités de ces comptes. Les captures d'écran de PGP ont révélé les noms et les identifiants d'autres comptes dans les soi-disant "botnets," juste pas des bots centraux (qui ne sont pas des bots).

Tout cela me fait douter que protéger la vie privée des "bots" était la principale raison pour laquelle PGP a caché les identifiants des comptes. Cela n'a pas de sens car les protections étaient extrêmement faciles à contourner pour quiconque, car les protections n'étaient pas étendues aux comptes apparaissant dans les captures d'écran, et parce qu'à la fin de la journée, PGP avait un bien plus grand incitatif à cacher cette information pour sa propre protection et à protéger la crédibilité de son rapport défectueux que tout autre chose.

Protéger la vie privée ou sauver la face ?

Je voudrais savoir pourquoi PGP a publié une version différente du rapport de celle qu'ils ont partagée avec le Wall Street Journal. Apparemment, Gregory Conley le voulait aussi, qui leur a demandé de justifier ce choix sur Twitter. La réponse de PGP à cela était :

"Le WSJ avait une exclusivité sur la recherche et nous avons partagé des informations lors de la diligence raisonnable. À un moment donné, nous avons partagé 5 comptes qui avaient des scores d'automatisation élevés, parmi les plus de 1 million de messages analysés. Nous ne voulions pas que ces comptes soient ciblés. Donc, ni l'article ni le rapport ne les mentionnent."

PGP semble insinuer ici que les botnets ont été fournis au Wall Street Journal comme contexte supplémentaire pour l'étude finale. Si l'analyse que j'ai signalée comme gravement défectueuse n'était en fait jamais destinée à la consommation publique, mais simplement du matériel supplémentaire envoyé au Journal avec le rapport officiel, cela ne change pas le fait que cela sape la validité de l'ensemble de l'étude.

Mais il est difficile de croire qu'ils n'avaient pas l'intention d'avoir cela dans la version finale. La section était listée dans la table des matières de la version du rapport qui m'a été envoyée. C'était une partie essentielle de leur section de résultats, avec les "botnets" encadrés comme illustratif du phénomène abstrait qu'ils affirmaient que leur rapport illuminait. Il n'y avait aucune indication que ce contenu n'était pas destiné à être une partie majeure du rapport final.

J'ai eu l'impression que ce que j'avais reçu était le rapport final, et lorsque j'ai signalé cette analyse comme gravement défectueuse (et contraire à l'éthique), on ne m'a jamais dit qu'il s'agissait d'une partie superficielle de l'étude ou spéciale au Wall Street Journal. Bien que je ne puisse pas en être certain, le journaliste qui me l'a envoyé semblait également penser qu'il s'agissait de la version finale. Et vraiment, qui enverrait le brouillon de travail d'un rapport révolutionnaire à un journal auquel vous proposez une exclusivité ? Cela n'a pas vraiment de sens. Le document qui incluait l'analyse des botnets, maintenant supprimée, était poli, la section supprimée faisait partie de la table des matières, rien n'indique que cela n'était pas destiné à être le produit final.

Si PGP a découvert à quel point ils avaient mal géré cette analyse, cela aurait dû les amener à remettre en question la validité de leur étude entière. La chose responsable, intellectuellement honnête et transparente à faire ici aurait été de demander au journal de retenir ou d'annuler son histoire afin que le rapport puisse être corrigé, ou peut-être si les défauts étaient si graves, abandonnés. Au minimum, une note aurait dû être faite indiquant que la version envoyée au Journal était différente de la version finale publiée sur le site web.

Je pense que PGP a retiré ces pages une fois qu'ils ont compris l'évidence des erreurs graves qu'ils ont commises. Ils ont contourné les processus scientifiques normaux dans tous les autres aspects de ce travail. Pourquoi devrais-je—pourquoi devrais quiconque—croire qu'ils se souciaient de quoi que ce soit d'autre que de sauver la face ? Si PGP a des preuves concrètes pour soutenir leur affirmation selon laquelle la décision de couper cette section était sans rapport avec le fait que leurs botnets n'étaient pas réellement des botnets, ils devraient se manifester.

Déshumaniser des manifestants légitimes

Le rapport de PGP dresse un tableau d'un réseau sophistiqué de bots conçu pour tromper les gens en leur faisant croire qu'ils sont des humains individuels afin de manipuler le discours sur le vapotage. Le fait qu'aucun de leurs meilleurs exemples n'ait les caractéristiques de ce type de compte (et que quatre d'entre eux étaient des humains que je connaissais réellement) soulève de sérieuses questions sur la fiabilité de l'ensemble de l'entreprise.

La sphère de défense du vapotage sur Twitter est une communauté de citoyens individuels liés de manière lâche qui utilisent leurs comptes de médias sociaux principalement privés dans un contexte spécifique. Ces personnes ne sont pas sur Twitter pour le bénéfice de chercheurs opportunistes en "surveillance et communication de santé publique," qui ont quelque chose à gagner en récoltant leur contenu généré par les utilisateurs et en le présentant hors contexte afin d'illustrer une théorie incroyablement peu plausible et intellectuellement malhonnête selon laquelle les défenseurs influents du vapotage ne sont rien d'autre qu'un réseau sophistiqué de bots malveillants, se faisant passer duplicitement pour des humains afin de répandre de la désinformation dans l'intérêt d'un pouvoir corporatif anonyme et sans visage.

Je ne suis pas sûr que la dishonêteté apparente qui imprègne le rapport de PGP représente la tentative de l'organisation de tromper le public, ou reflète plus le fait qu'ils se sont eux-mêmes trompés.

Mais cela n'a pas d'importance. Avec ou sans la section « botnets » supprimée, le rapport de PGP est totalement contraire à l'éthique. Ce rapport n'était pas destiné à contribuer à la connaissance sur la défense du tabagisme, il s'agissait de créer une frénésie médiatique autour d'une découverte choquante qui n'est pas réellement réelle. Il a été réalisé par un groupe privé et non nommé de chercheurs de marché qui ne comprennent pas ou ne se soucient pas des normes de travail scientifique transparent, valide et fiable. Ils ont également ignoré le déséquilibre de pouvoir très réel entre les personnes qui font des recherches sur les utilisateurs de Twitter concernant le tabagisme, et les vraies personnes qui utilisent Twitter pour défendre le tabagisme.

Le rapport PGP est une propagande visant à déshumaniser les manifestants légitimes, à discréditer leur cause et à censurer leur discours sur les plateformes de médias sociaux. Le rapport a été présenté avec le vernis de la science, mais il est entièrement destiné à servir des fins politiques.

Lectures supplémentaires suggérées :