电子烟推特机器人研究是非人性化的宣传。

在10月4日，我收到了一封来自《华尔街日报》记者的电子邮件，他希望我对一项关于“电子烟的机器人营销”的研究发表看法，以便为他正在计划的故事提供素材。

我认为这是关于英国公司Astroscreen的近期报告，他们告诉Wired UK他们发现一个“协调的、不真实的社交媒体活动显然在明确针对美国的关键政策制定者，试图迫使他们撤回反电子烟立法的计划。”具有讽刺意味的是，Astroscreen曾建立一个机器人来为他们完成这项工作，而由于该机器人是“专有的机器学习技术”（翻译：除了作者外，没有人可以看到他们是如何或为什么得出结论的），因此实际上没有办法判断他们结论的有效性。

我准备好与联系我的记者讨论这个问题。但他并不是在联系我讨论Astroscreen的机器人研究。

《华尔街日报》的记者想要我对一项不同的报告发表评论，该报告由公共利益项目（PGP）未具名的研究人员提供，并由某个叫尼科尔森基金会的机构资助。当我说我对一项未见过或未读过的研究感到不安时，记者提出在我不在故事发布之前分享或评论它的条件下给我发送报告。我同意了这些条件。

让我指出，这两个不同的私人组织决定通过向主要新闻机构泄漏未经审查的“研究”来“大揭露”在电子烟倡导空间中明显猖獗的“机器人”活动，这一点是多么奇怪，显然他们没有任何计划让这些研究进行同行评审，并在任何公开发布之前。

当我阅读PGP报告时，我注意到其他相似之处。与Astroscreen一样，PGP在他们的方法论上是不可饶恕的模糊。根据PGP，他们的分析提供了“关于机器人在围绕电子烟和烟草产品的在线对话中当前所扮演角色的前所未见的信息。”具体而言，他们得出结论：“美国在公共媒体来源传输的所有信息中，超过一半可能是由自动账户或机器人发布的。”

然而，他们没有提供任何有用的信息来说明他们是如何得出这样的结论的。读者只需信任这一发现是有效的。但我在报告中注意到了一些使我有充分理由不信任它的内容。而且，由于《华尔街日报》最终发布的文章没有包括我给记者的任何评论，我将在这里解释它们。

然而，在我进入这个问题之前，让我们看一下PGP报告中的一些更广泛的问题。

他们所说的“机器人”究竟是什么意思？

首先，PGP在他们实际做了什么、如何做到这一点以及他们实际发现了什么方面是不可饶恕的模糊。这使得解释报告中看似直接的陈述变得非常困难，例如：“在与电子烟或烟草相关的2,536,659条Twitter消息的总样本中，22.6%的消息是由人类发布的，20.8%是由怀疑机器人发布的，56.6%被确认是由机器人生成的。”

由于我们不知道PGP所说的机器人是什么意思，因此很难有意义地解读上述统计数据。或者说，我们不知道他们在进行分析时将什么算作机器人。根据报告的框架，我们知道PGP希望我们在思考与电子烟相关的机器人时，将其视为自动账户，旨在看起来像人类，操作以传播有关尼古丁和电子烟的错误信息，和/或向任何人宣传，尤其是孩子。

但当我们听到“机器人”时，PGP希望我们联想的概念与他们在这项研究中所实际统计的机器人并不相同。那么，PGP到底是如何识别机器人的，他们认为什么是机器人呢？以下是他们在报告中所说的内容：

“PGP能够识别哪些帖子极有可能来源于机器人，哪些极有可能来源于人类……PGP研究人员检查多个账户特征，以确定一个帖子的来源是来自机器人的可能性，包括（但不限于）发帖的频率和时间、发帖数量、关注者数量以及与其他账户的互动。机器人，尤其是那些出于恶意意图创建的，具有极其细微的特征，常常被设计得与人类完全相同。因此，仅仅对基本账户和资料特征的简单审查不足以评估自动化的可能性。”

这毫无用处。我并不太在乎PGP认为他们的方法有多准确；我想自己对此进行评估，而根据他们提供的信息我无法做到这一点。但他们只想给我这个居高临下和极其模糊的借口，不告诉我他们实际上看了什么，以便我能自己判断他们的研究是否有效。他们把他们的方法视为魔法并将其呈现得太复杂，以至于读者无法理解，这基本上就是一个巨大红旗。

PGP在昨天在Twitter上分享了一些事后澄清关于他们的分类过程和方法，甚至比他们在实际报告中所说的更模糊和没有意义。例如：“我们将‘自动化’定义为1-100分。一个100%的机器人会做一些像自动转推（auto-RT）这样不发布原创内容的事情。”

彼得·斯特恩（Peter Sterne），一位撰写媒体行业的自由记者，简明扼要地阐述了PGP机器人定义上的问题，他在私信中对我说：“PGP显然采用了一个荒谬宽泛的机器人定义（任何使用任何自动发布应用程序的人），这将许多真实的人纳入其中，同时强烈暗示所有‘机器人’都是复杂社交媒体操作的一部分，他们的推文不能被表面理解。”

无论如何，PGP显然对研究机器人感兴趣，无论他们如何定义它们。在电子烟领域活跃的机器人的比例以及它们可能在倡导中所扮演的角色是一个合理的研究难题，我认为许多电子烟使用者会发现一项能回答这些问题的研究非常有趣。但是问题是，PGP并没有设计出能够回答推动其报告问题的研究。

如果PGP想了解特定社交媒体用户（即电子烟用户）群体中的账户特征，他们需要找出一种方法，获取该群体的代表性账户样本。这几乎是不可能的，但这不是重点，因为PGP似乎甚至不明白他们根本需要进行类似的操作。PGP没有对账户进行抽样，他们对推文进行了抽样。这些推文是由账户发送的（显然），所以他们确实最终得到了一个账户的集合，但让研究人员根据一些推文恰好出现在他们样本中的账户做出关于电子烟相关推特账户的推断，是完全不恰当的。

报告的另一个大问题是，它实际上并没有说他们在这里谈论多少个独特的账户。他们报道了推文的数量（可能是因为这些数字更大，PGP想要给我们留下深刻印象），但我们不知道有多少账户在发送它们。如果样本中有任何真实的机器人（而且可能有一些），这实际上非常重要，因为一个没有追随者的模糊垃圾邮件机器人被编程每天发送数百条关于电子烟的推文，可能在整个样本中生成了不成比例的推文，即使这个机器人在其微小的孤立泡沫之外几乎没有效果。

这些机器人根本不是机器人

缺乏透明度，缺乏定义和明确的方法论无能，足以让人怀疑这项研究的结论。但PGP的发现无效的一个具体指标是在其公开发布之前被删除的报告的一个部分。（你可以在PGP的网站上查看公开版本。）

回到《华尔街日报》。当他们请我对PGP报告发表评论时，他们给我发了一份副本。它长达32页。结果部分长达15页。结果中的一个小节，标题为“机器人网络”，占据了这些结果的大约40%。它包括五个所谓“微观层面”的分析，关于所谓的“机器人账户”和他们在[PGP]分析过程中识别的“机器人网络”。他们使用图表表示每个网络。(这里是我从记者那里获得的版本。)

每个PGP的图表都是围绕一个焦点节点构建的，代表在PGP分析中的一个“机器人”。该节点与其他节点相连，代表转发所谓机器人的推文的账户。社交网络分析师将这些图形表示称为“自我网络”，因为它们描绘了一个中心节点（“自我”）与连接节点（“他者”）之间的关系。PGP根据是否符合他们未披露的机器人标准，对他者节点进行颜色编码，白色节点代表被确定为人类的账户。在PGP的所有网络中，白色节点是少数。

PGP希望我们相信，Twitter上关于电子烟活动的绝大多数可能不是由真实的人类产生的。他们删除了每个机器人网络中心的“自我”机器人的名字。为什么？在报告中，他们声称这是为了保护账户的隐私，但如果这些账户是机器人，那又有什么关系呢？

坦率地说，即使PGP实际上对保护伪装成人的机器人账户感兴趣，这些人正在干预在线电子烟讨论，对公共健康可能产生可怕的后果（或者他们这么说），事实是他们做得很糟糕。

我能够轻松识别PGP在其原报告中包括的五个所谓机器人网络的中心节点所表示的特定账户。我能够做到这一点，因为PGP包括了从账户中获取的推文的屏幕截图，任何人都可以在Twitter用户界面中输入查找栏并检索。我检查了每个账户的推文、关注者和发帖数量，以及PGP报告的数据，并验证了他们到底是谁。整个过程花了我不到半个小时。你猜怎么着？这些账户都不是“假装成真实人类的机器人”。

在PGP选择的五个例子机器人网络讨论中，只有一个我不认识。它是一个位于英国的商业账户，利用Twitter来宣传其在eBay的各种产品列表，包括电子液体和CBD。这个账户似乎使用自动化发布推文吗？是的。有任何迹象表明人们没有在这些推文背后吗？没有。是否有任何合理的人会将其误认为是在线商务公司的商业账户？没有。是否有任何迹象表明该账户在其自身的追随者网络之外进行推广？没有。

至于我熟悉的四个账户，三个是私人账户，属于长期倡导电子烟的个人，显然是现实人。另一个是这个出版物的Twitter账户。Vaping360的新闻编辑Jim McDonald管理并从该账户发推，Jim并不是机器人。

因此，在五个所谓的机器人中：一个是一个电子烟出版物的账户，由其中一位使用它发布文章并与其他推特用户互动的记者运营（所以他发布原创内容）。三个是为电子烟倡导的私人个人。另一个是某个英国零售商。对于我来说，极难相信任何熟悉这些账户的人会得出它们是假装成人的机器人，或企业假装成个体人类，或企业使用机器人假装成个体人类，或涉及任何恶劣活动的人。

因此，这使得PGP决定删除这五个账户的名称有些可疑。首先，他们肯定知道想知道这些账户是谁的人可以通过他们提供的信息搞清楚。因此，他们并没有保护任何人的隐私，他们只是让想要了解这些账户身份的人稍微费了一点劲。

我能够用来搜索这些账户推文的屏幕截图包括转发和对这些账户的回复，来自“他者”的账户，这些账户也不是机器人——并没有采取任何措施来保护这些账户的身份。PGP的屏幕截图揭示了所谓“机器人网络”中的其他账户的名称和把手，只是不包括中心机器人的名字（这些不是机器人）。

所有这些都让我很难相信保护“机器人”的隐私是PGP隐藏账户ID的主要原因。这没有意义，因为这些保护对于任何人来说都极其容易被颠覆，因为这些保护并没有延伸到出现在屏幕截图中的账户，并且因为在这一天结束时，PGP隐藏这些信息的动机远大于其他任何事情，以保护他们自己和保护其有缺陷报告的可信度。

保护隐私还是面子？

我想知道为什么PGP发布了与他们分享给《华尔街日报》的报告不同的版本。显然，格雷戈里·康利（Gregory Conley）也如此，他在Twitter上要求他们对此选择作出解释。PGP给他的回答是：

“WSJ对这项研究有独家，我们在尽职调查期间分享了信息。在某个时候，我们分享了5个具有高自动化评分的账户，基于分析的100万+条消息。我们不想让这些账户成为目标。因此，文章或报告都没有提到它们。”

PGP似乎在暗示，机器人网络是作为额外的背景提供给《华尔街日报》的。如果我认为致命缺陷的分析实际上并不打算供公众消费，而只是作为一些额外材料发送到《华尔街日报》与官方报告一起，那这并不改变一个事实，即它削弱了整个研究的有效性。

但是，很难相信他们并不打算在最终版本中包含这个部分。该部分在发送给我的报告版本的目录中列出。这是他们结果部分的核心内容，其中“僵尸网络”被框定为他们声称报告阐明的抽象现象的例证。没有迹象表明这些内容不打算成为最终报告的主要部分。

我得到的印象是，我所得到的是最终报告，当我指出这个分析存在严重缺陷（和不道德）时，我从未被告知这是对研究的粗略部分或是特别针对《华尔街日报》的。虽然我不能确定，但给我发送报告的记者似乎也认为这是最终版本。真的，谁会给一家你提供独家新闻的报纸发送突破性报告的工作草稿呢？这真的没有道理。包含现已删除的僵尸网络分析的文件是经过润色的，被删除的部分是目录的一部分，没有什么表明这不是最终产品的意图。

如果PGP发现他们在这个分析中犯了多么严重的错误，这应该让他们质疑整个研究的有效性。在这里，负责任、知识诚实和透明的做法应该是要求报纸暂停或取消他们的报道，以便修正报告，或者如果缺陷如此严重，就放弃。至少应该记录一些说明，表明发送给《华尔街日报》的版本与网站上发布的最终版本不同。

我认为PGP在意识到他们犯的严重错误的明显性后删除了那些页面。他们在这项工作的所有其他方面颠覆了正常的科学过程。我为什么——任何人为什么——要相信他们关心的不是保全面子？如果PGP有任何实际的具体证据支持他们的说法，即删除这一部分的决定与他们的僵尸网络实际上并不是僵尸网络的事实无关，他们应该拿出来。

非人化合法抗议者

PGP的报告描绘了一个复杂的机器人网络，旨在让人们相信它们是个体人类，以操控对 vaping 的讨论。事实上，他们最好的例子没有任何这种账户的特征（而且其中四个是我确实认识的人）引发了关于整个企业可靠性的严重质疑。

Twitter上的 vaping 倡导领域是一个松散连接的社区，由个体公民组成，他们在特定的上下文中使用他们大多数私人的社交媒体账户。这些人并不是为了机会主义的“公共健康监测和沟通”研究人员的利益而在Twitter上，他们通过收集用户生成的内容并将其脱离上下文地呈现，而从中获利，从而阐明一个极不可信和知识上不诚实的理论，即有影响力的 vape 倡导者不过是一个复杂的恶意机器人网络，伪装成人类以传播错误信息，以某种无名无面的公司势力的利益为重。

我不确定PGP报告中充满的明显不诚实是否代表该组织试图愚弄公众，还是更反映了他们自我欺骗的事实。

但是这无关紧要。有或没有被删除的“僵尸网络”部分，PGP的报告都是完全不道德的。这份报告不是关于对 vaping 倡导知识的贡献，而是关于围绕一个实际上不存在的冲击发现制造媒体热潮。这是由一群不具名的市场研究人员进行的，他们要么不理解，要么不关心透明、有效和可靠的科学工作的规范。他们还忽视了在对 vaping 推特用户进行研究的人与真正使用 Twitter 为 vaping 倡导的人之间的非常真实的权力不平衡。

PGP的报告是旨在非人化合法抗议者、使他们的事业失去信誉，以及审查他们在社交媒体平台上言论的宣传。这份报告以科学的表象呈现，但完全是为了服务于政治目的。

建议进一步阅读：