Исследование Twitter-бота по вейпингу - это бездушная пропаганда

4 октября я получил электронное письмо от репортера Wall Street Journal, который хотел узнать мое мнение о исследовании о «маркетинге ботов для электронных сигарет» для статьи, которую он планировал.

Я думал, что это связано с недавним отчетом британской компании Astroscreen, которая сказала Wired UK, что они обнаружили, что «координированная, неаутентичная кампания в социальных сетях явно нацеливалась на ключевых политиков США в попытке заставить их отказаться от планов по антивейпинговому законодательству». Ironically, Astroscreen создала бота, чтобы выполнять свою работу за них, и поскольку бот является «проприетарной технологией машинного обучения» (перевод: никто, кроме авторов, не может увидеть, как или почему они пришли к своим выводам), на самом деле нет способа оценить действительность их выводов.

Я был готов обсудить это с репортером, который связался со мной. Но он не связывался со мной по поводу исследования Astroscreen.

Репортер WSJ хотел комментарии по другому отчету, который был составлен неназванными исследователями из Public Good Projects (PGP) и профинансирован чем-то, называемым Фондом Николсона. Когда я сказал, что мне некомфортно комментировать исследование, которое я еще не видел и не читал, репортер предложил отправить мне отчет при условии, что я не буду делиться или комментировать его до выхода статьи. Я согласился с этими условиями.

Позвольте мне указать, как странно, что две отдельные частные организации решили «разоблачить» явно царящую активность «ботов» в пространстве защиты вейпа, просочив непроверенные «исследования» в крупные новостные издания, явно без каких-либо планов отправить эти исследования на рецензию и до любого публичного выпуска.

Когда я прочитал отчет PGP, я заметил другие сходства. Как и Astroscreen, PGP была неоправданно непрозрачна в отношении своих методологий. По данным PGP, их анализ предлагает «никогда не виденную ранее информацию о роли, которую боты в настоящее время играют в онлайн-разговорах о электронных сигаретах и табачных продуктах». В частности, они заключают, что «более половины всех сообщений, передаваемых через публичные медиаканалы в Соединенных Штатах по поводу электронных сигарет и табачных продуктов, могут быть опубликованы автоматизированными аккаунтами или ботами».

Но они не предоставляют полезной информации о том, как они пришли к такому выводу. Читатели просто должны доверять, что находка действительна. Но я заметил кое-что в отчете, что дало мне хорошую причину не доверять ему. И поскольку статья, которую в конечном итоге опубликовал Wall Street Journal, не включала ни одного из моих комментариев журналисту, я объясню их здесь.

Однако прежде чем я перейду к этому, давайте посмотрим на некоторые более широкие проблемы с отчетом PGP.

Что они вообще имеют в виду под «ботом»?

Прежде всего, PGP неоправданно расплывчато говорит о том, что они на самом деле сделали, как они это сделали и что они на самом деле нашли. И это делает очень трудным интерпретировать заявления, которые кажутся прямыми в отчете, такие как это: "из общего числа 2,536,659 твиттов, связанных с электронными сигаретами или табаком, 22.6% сообщений были опубликованы людьми, 20.8% опубликованы подозреваемыми ботами, и 56.6% подтверждено, что они были сгенерированы ботами."

Невозможно значимо интерпретировать вышеуказанную статистику, потому что мы не знаем, что PGP имеет в виду под ботами. Или, точнее, мы не знаем, что они считали ботом, когда проводили анализ. Мы знаем, по тому, как оформлен отчет, что PGP хочет, чтобы мы думали о ботах в контексте вейпинга как о автоматизированных аккаунтах, созданных, чтобы казаться людьми, которые действуют для распространения дезинформации о никотине и электронных сигаретах и/или рекламируют их всем и каждому, особенно детям.

Но то, о чем PGP хочет, чтобы мы думали, когда мы слышим «бот», не соответствует тому, что они на самом деле считали ботом в этом исследовании. Так как же PGP на самом деле идентифицировала ботов и что они считали ботом? Вот что они говорят в отчете:

“PGP может определить, какие посты имеют высокую вероятность происхождения от ботов, а какие имеют высокую вероятность происхождения от людей…. Исследователи PGP изучают множество характеристик аккаунтов, чтобы определить вероятность того, что пост является от бота, включая (но не ограничиваясь) частоту и время постов, количество постов, количество подписчиков и взаимодействие с другими аккаунтами. Боты, особенно те, которые созданы с злонамеренными намерениями, невероятно тонкие и часто созданы так, чтобы выглядеть точно как люди. Поэтому простое изучение основных характеристик аккаунта и профиля недостаточно, чтобы оценить вероятность автоматизации.”

Это бесполезно. Мне не важно, как точно PGP считает свои методы; я хочу сделать эту оценку сам, и я не могу на основе информации, которую они предоставляют. Но все, что они хотят дать мне, это это высокомерное и чрезмерно расплывчатое оправдание за то, чтобы не сказать мне, на что они на самом деле смотрели, чтобы я мог сам судить, действителен ли их отчет. Они относятся к своим методам как к магии и формулируют их как слишком сложные для понимания их читателями, что по сути является огромным красным флажком.

PGP поделилась некоторыми послесловиями вчера на Twitter о своем процессе классификации и методологии, которые были еще более расплывчатыми и бессмысленными, чем то, что они сказали в самом отчете. Например: “Мы определяем «автоматизацию» как балл от 1 до 100. 100% робот будет делать такие вещи, как авто-ретвиты, не публикуя оригинального контента.”

Питер Стерн, фриланс-журналист, который пишет о медиаиндустрии, лаконично сформулировал проблему с определением бота от PGP в частном сообщении мне: “PGP, похоже, приняла абсурдно широкое определение бота (любой, кто использует любое приложение для автоматической публикации), что охватывает многих реальных людей, в то время как сильно подразумевает, что все «боты» – часть сложной социальной медиа-операции и их твиты не могут восприниматься наивно.”

В любом случае, PGP очевидно интересовалась изучением ботов, как бы они их ни определяли. Процент ботов, активных в вейп-пространстве, и роль, которую они могут играть в защите veyp-ing, является законной исследовательской задачей, и я думаю, что многим вейперам будет интересно исследование, которое могло бы ответить на эти вопросы. Но дело в том, что PGP не спроектировала исследование, которое могло бы ответить на вопросы, побудившие их отчет.

Если бы PGP хотели понять характеристики аккаунтов в конкретной популяции твиттеров (т.е. вейперов), им нужно было бы найти способ получить представительную выборку аккаунтов из этой популяции. Это практически невозможно, но это не суть, потому что PGP, похоже, даже не понимают, что им нужно было бы сделать что-то подобное. PGP не выбрала аккаунты, они выбрали твиты. Эти твиты были отправлены аккаунтами (явно), поэтому у них в итоге собралось множество аккаунтов, но было совершенно неправильно, чтобы исследователи продолжали делать выводы о популяции аккаунтов, которые твитят о вейпинге, на основании некоторых аккаунтов, твиты которых случайно оказались в их выборке.

Другой большой проблемой с отчетом является то, что он на самом деле не говорит, сколько уникальных аккаунтов они обсуждают здесь. Они сообщают о количестве твитов (вероятно, потому что эти цифры больше, и PGP хочет впечатлить нас), но мы не знаем, сколько аккаунтов их отправляют. И это на самом деле имеет большое значение, если в выборке есть какие-либо настоящие боты (а, вероятно, некоторые есть), потому что неопознанный спам-бот с нулевыми подписчиками, запрограммированный на то, чтобы твитить сотни раз в день о вейпинге, мог сгенерировать непропорционально большое количество твитов во всей выборке, даже если у бота мало или вообще нет эффекта за пределами егоTiny isolated bubble.

Эти боты совсем не боты

Отсутствие прозрачности, отсутствие определений и ясной методологической некомпетентности — это достаточные причины, чтобы сомневаться в выводах этого исследования. Но конкретный индикатор того, что выводы PGP недействительны, — это раздел отчета, который был удален перед его публикацией. (Вы можете увидеть публичную версию на сайте PGP.)

Вернемся к Wall Street Journal. Когда они попросили меня прокомментировать отчет PGP, они прислали мне копию. Он состоял из 32 страниц. Раздел результатов занимал 15 страниц. А подраздел в разделе результатов, озаглавленный «Сети ботов», занимал около 40 процентов этих результатов. Он состоял из пяти «микро-уровневых» анализов так называемых «бот-аккаунтов» и их «сетей ботов, идентифицированных в процессе анализа [PGP]». Они используют графики для представления каждой сети. (Вот версия, которую мне предоставил журналист.)

Каждая из графиков PGP была построена вокруг фокального узла, представляющего «бота» в анализе PGP. Этот узел был связан с другими узлами, представляющими аккаунты, которые ретвитили твит так называемого бота. Аналитики социальных сетей называют эти графические представления «эго-сетями», потому что они изображают взаимосвязь между центральным узлом («эго») и связанными узлами («альтерс»). PGP цвет-кодировала узлы альтеров в зависимости от того, соответствуют ли они их недоступным критериям для бота, причем белые узлы представляли аккаунты, определенные как люди. Белые узлы были меньшинством в всех сетях PGP.

PGP хочет, чтобы мы поверили, что подавляющее большинство активности в Twitter по вейпингу, вероятно, не генерируется реальными людьми. Они удалили имя «эго»-бота в центре каждой сети ботов. Почему? В отчете они утверждают, что это сделано для защиты конфиденциальности аккаунтов, но если аккаунты — это боты, почему это имеет значение?

Честно говоря, даже если PGP действительно интересовалась защитой идентичности аккаунтов-ботов, замаскированных под реальных людей, которые вмешиваются в онлайн-дискурсы по вейпингу с потенциально серьезными последствиями для общественного здоровья (или так они говорят), факт заключается в том, что они сделали ужасную работу.

Я смог легко идентифицировать конкретные аккаунты, представленные как центральный узел в каждой из пяти предполагаемых сетей ботов, которые PGP включила в свой оригинальный отчет. Я смог сделать это, потому что PGP включила скриншоты твитов из аккаунтов, которые любой мог ввести в строку поиска в интерфейсе Twitter и получить. Я сделал это для твитов каждого аккаунта, проверил количество их подписчиков и количество постов с тем, что PGP сообщила, и подтвердил, кто все они были. Весь процесс занял у меня менее получаса. И знаете что? Ни один из этих аккаунтов не является «ботами, притворяющимися реальными людьми».

Из пяти аккаунтов, выбранных PGP для обсуждения их примерных сетей ботов, был только один, который я не узнал. Это был коммерческий аккаунт, базирующийся в Великобритании, использующий Twitter для рекламы своих списков eBay для различных продуктов, включая жидкости для вейпинга и CBD. Появился ли аккаунт с автоматизацией для публикации твитов? Да. Было ли какое-либо указание на то, что за этими твитами не стоят люди? Нет. Мог бы любой разумный человек перепутать это с чем-то, кроме коммерческого аккаунта онлайн-компании? Нет. Было ли какое-либо указание на то, что аккаунт рекламирует за пределами своей собственной сети подписчиков? Нет.

Что касается четырех аккаунтов, с которыми я был знаком, три были частными аккаунтами людей, которые являются давними сторонниками вейпинга и, очевидно, реалистами. Другим был Twitter-аккаунт для этого самого издания. Редактор новостей Vaping360 Джим Макадон управляет этим аккаунтом и пишет от его имени, и Джим не является ботом.

Из пяти предполагаемых ботов: один является аккаунтом для публикации о вейпинге, который ведется одним из журналистов, который использует его для публикации статей и взаимодействия с другими твитерами (поэтому он публикует оригинальный контент). Три — это частные лица, которые выступают за вейпинг. А другой — это какой-то британский ретейлер. Мне крайне трудно поверить, что кто-либо, знакомый с любым из этих аккаунтов, пришел бы к выводу, что они являются ботами, притворяющимися людьми. Или бизнесами, притворяющимися отдельными людьми. Или бизнесами, использующими ботов, чтобы притворяться отдельными людьми. Или кто-то, кто участвует в какой-либо недоброй деятельности, среди прочего.

И это делает решение PGP удалить имена этих пяти аккаунтов немного подозрительным. Прежде всего, конечно, они знали, что было бы возможно для кого-то, кто хотел бы узнать, кто эти аккаунты, выяснить это с той информацией, которую они предоставили. Так что они не защитили конфиденциальность никого, они просто сделали это немного более трудоемким для кого-то, кто хотел бы узнать личность аккаунтов.

Скриншоты, которые я смог использовать для поиска твитов из этих аккаунтов, включали ретвиты и ответы на аккаунты от «альтеров», которые также не являются ботами, и никаких мер не было предпринято для защиты идентичности этих аккаунтов. Скриншоты PGP раскрыли имена и никнеймы других аккаунтов в так называемых «сетях ботов», только не центральных ботов (которые не являются ботами).

Все это заставляет меня сомневаться, что основной причиной, по которой PGP скрыла идентификаторы аккаунтов, была защита конфиденциальности «ботов». Это не имеет смысла, потому что защиты были чрезвычайно легко преодолимы для любого, потому что эти защиты не распространялись на аккаунты, появляющиеся на скриншотах, и потому что в конечном итоге у PGP был гораздо больший стимул скрывать эту информацию для своей собственной защиты и для защиты доверия к их неисправному отчету, чем что-либо еще.

Защита конфиденциальности или спасение репутации?

Я хотел бы знать, почему PGP опубликовала другую версию отчета, отличную от той, которую они поделились с Wall Street Journal. Видимо, так же интересовал Грегори Конли, который спросил их о причинах этого выбора в Twitter. Ответ PGP на его вопрос был следующий:

«У WSJ была эксклюзивная информация по исследованию, и мы обменивались данными во время должной осмотрительности. В какой-то момент мы поделились 5 аккаунтами, которые имели высокие показатели автоматизации, из более чем 1 миллиона сообщений, проанализированных. Мы не хотели, чтобы эти аккаунты стали целями. Поэтому ни статья, ни отчет о них не упоминают.»

PGP, похоже, намекает здесь на то, что сети ботов были предоставлены Wall Street Journal в качестве дополнительного контекста к окончательному исследованию. Если анализ, который я отметил как фатально ошибочный, на самом деле никогда не предназначался для публичного использования, и просто был дополнительным материалом, отправленным в Journal вместе с официальным отчетом, это не меняет факта того, что это подрывает действительность всего исследования.

Но довольно трудно поверить, что они не намеревались включить это в окончательную версию. Этот раздел был перечислен в таблице содержания версии отчета, который мне был отправлен. Это была ключевая часть их раздела результатов, где “ботнеты” были представлены как иллюстрация абстрактного феномена, который, по их словам, освещал их отчет. Не было никаких указаний на то, что это содержание не предполагалось быть основной частью финального отчета.

У меня сложилось впечатление, что то, что мне дали, было окончательным отчетом, и когда я отметил, что этот анализ является грубо ошибочным (и неэтичным), мне никогда не говорили, что это была поверхностная часть исследования или особая информация для Wall Street Journal. Хотя я не могу сказать это наверняка, репортер, который отправил его мне, казался тоже убежденным, что это была окончательная версия. И действительно, кто будет отправлять рабочий черновик революционного отчета газете, которой вы предлагаете эксклюзив? Это действительно не имеет смысла. Документ, который включал сейчас удаленный анализ ботнета, был отшлифован, удаленный раздел был частью оглавления, ничего не указывает на то, что это не было предназначено быть окончательным продуктом.

Если PGP узнал бы, как плохо они испортили этот анализ, это должно было бы заставить их усомниться в действительности всего их исследования. Ответственным, интеллектуально честным и прозрачным поступком здесь было бы попросить газету удержать или отменить их статью, чтобы отчет можно было бы исправить, или, возможно, если недостатки были настолько серьезными, abandoned. По крайней мере, следовало бы сделать заметку, указывающую на то, что версия, отправленная в Journal, отличалась от окончательной версии, опубликованной на веб-сайте.

Я думаю, что PGP удалил эти страницы, как только они поняли очевидность серьезных ошибок, которые они сделали. Они подорвали нормальные научные процессы во всех других аспектах этой работы. Почему я — почему кто-либо — должен верить, что им было важно что-то кроме сохранения лица? Если у PGP есть какие-либо реальные доказательства, подтверждающие их утверждение о том, что решение удалить этот раздел не связано с тем, что их ботсети на самом деле не были ботсетями, им следует выйти с этим.

Деханизация законных протестующих

Отчет PGP рисует картину сложной сети ботов, созданных для того, чтобы обмануть людей, заставив их поверить, что они индивидуальные люди, с целью манипулировать дискуссией о вейпинге. Тот факт, что ни один из лучших примеров не имел никаких характеристик этого типа аккаунта (и четверо из них были людьми, которых я на самом деле знал), поднимает серьезные вопросы о надежности всего предприятия.

Сфера адвокации вейпинга в Twitter представляет собой свободно связанное сообщество отдельных граждан, которые используют свои в основном частные аккаунты в социальных сетях в специфическом контексте. Эти люди не находятся в Twitter для пользы корыстных исследователей "мониторинга и коммуникации общественного здоровья", которые имеют что-то, чтобы получить, собирая их пользовательский контент и представляя его вне контекста, чтобы проиллюстрировать крайне неправдоподобную и интеллектуально нечестную теорию о том, что влияющие адвоекаты вейпа не что иное, как сложная сеть злонамеренных ботов, дублирующих человеческий облик с целью распространения дезинформации в интересах какой-то безымянной, безликой корпоративной власти.

Я не уверена, отражает ли очевидная нечестность, которая пронизывает отчет PGP, попытку организации обмануть общественность, или же это больше связано с тем, что они обманули самих себя.

Но это не имеет значения. С удаленным разделом "ботнеты" или без него, отчет PGP совершенно неэтичен. Этот отчет не касался вклада в знания о защите прав вейпинга, он был о создании медиа-фурора вокруг шокирующей находки, которая на самом деле не является реальной. Он был проведен частной, неназванной группой рыночных исследователей, которые либо не понимают, либо не заботятся о нормах прозрачной, валидной и надежной научной работы. Они также проигнорировали очень реальный дисбаланс власти между людьми, которые проводят исследования на вейпинг-твитерах, и реальными людьми, которые используют Twitter для защиты прав вейпинга.

Отчет PGP является пропагандой, направленной на дегуманизацию законных протестующих, дискредитацию их дела и цензуру их речи на платформах социальных медиа. Отчет был представлен с вуалью науки, но полностью предназначен для служения политическим целям.

Рекомендуемая дальнейшая литература: