Studi Bot Twitter Vaping adalah Propaganda yang Mendehumanisasi

Pada tanggal 4 Oktober saya menerima email dari seorang reporter Wall Street Journal yang ingin mengetahui pendapat saya tentang sebuah studi tentang “pemasaran bot dari rokok elektrik” untuk sebuah cerita yang ia rencanakan.

Saya pikir ini berkaitan dengan laporan terbaru dari perusahaan Inggris Astroscreen, yang memberi tahu Wired UK bahwa mereka menemukan bahwa “kampanye media sosial yang terkoordinasi dan tidak otentik secara eksplisit menargetkan pembuat kebijakan kunci AS dalam upaya memaksa mereka untuk menarik kembali rencana legislasi anti-vaping.” Ironisnya, Astroscreen telah membangun sebuah bot untuk mengerjakan pekerjaan mereka, dan karena bot adalah “teknologi pembelajaran mesin proprietary” (terjemahan: tidak ada yang bisa melihat bagaimana atau mengapa mereka sampai pada kesimpulan mereka), tidak ada cara untuk menilai kevalidan kesimpulan mereka.

Saya sudah siap untuk mendiskusikan hal ini dengan reporter yang menghubungi saya. Tapi dia tidak menghubungi saya tentang studi bot Astroscreen.

Reporter WSJ ingin komentar tentang laporan lain, oleh peneliti yang tidak disebutkan namanya di Public Good Projects (PGP) dan dibiayai oleh sesuatu yang disebut Yayasan Nicholson. Ketika saya mengatakan saya tidak nyaman memberi komentar tentang sebuah studi yang belum saya lihat atau baca, reporter tersebut menawarkan untuk mengirimkan laporan tersebut dengan syarat saya tidak membagikannya atau memberi komentar sampai setelah cerita itu tayang. Saya setuju dengan syarat tersebut.

Izinkan saya menunjukkan betapa anehnya bahwa dua organisasi swasta yang berbeda memutuskan untuk “mengungkapkan” aktivitas “bot” yang tampaknya merajalela di ruang advokasi vaping dengan membocorkan “studi” yang belum diverifikasi kepada media besar, tanpa rencana untuk mendapatkan studi-studi tersebut yang ditinjau oleh rekan sejawat, dan sebelum rilis publik.

Ketika saya membaca laporan PGP, saya melihat kesamaan lainnya. Seperti Astroscreen, PGP tidak bisa dipertanggungjawabkan mengenai metodologi mereka. Menurut PGP, analisis mereka menawarkan “informasi yang belum pernah dilihat sebelumnya tentang peran yang saat ini dimainkan oleh bot dalam percakapan online seputar rokok elektrik dan produk tembakau.” Secara khusus, mereka menyimpulkan bahwa “lebih dari setengah semua pesan yang disampaikan melalui sumber media publik di Amerika Serikat mengenai rokok elektrik dan produk tembakau mungkin diposting oleh akun otomatis, atau bot.”

Namun mereka tidak memberikan informasi berguna tentang bagaimana mereka sampai pada kesimpulan tersebut. Pembaca seharusnya hanya percaya bahwa temuan tersebut valid. Tapi saya melihat sesuatu dalam laporan itu yang memberi saya alasan baik untuk tidak mempercayainya. Dan, karena artikel yang akhirnya diterbitkan oleh Wall Street Journal tidak menyertakan komentar saya kepada reporter, saya akan menjelaskan di sini.

Namun, sebelum saya sampai ke sana, mari kita lihat beberapa masalah lebih luas dengan laporan PGP.

Apa yang mereka maksud dengan “bot”?

Pertama-tama, PGP sangat samar mengenai apa yang sebenarnya mereka lakukan, bagaimana mereka melakukannya, dan apa yang sebenarnya mereka temukan. Dan ini membuat sangat sulit untuk menginterpretasikan pernyataan yang tampaknya lugas dalam laporan, seperti yang ini: "dari total sampel 2.536.659 pesan Twitter terkait rokok elektrik atau tembakau, 22,6% pesan diposting oleh manusia, 20,8% diposting oleh bot yang dicurigai, dan 56,6% dipastikan telah dihasilkan oleh bot."

Sangat tidak mungkin untuk menginterpretasikan statistik di atas secara bermakna karena kita tidak tahu apa yang dimaksud PGP dengan bot. Atau tepatnya, kita tidak tahu apa yang mereka hitung sebagai bot ketika mereka melakukan analisis. Kita tahu, dari bagaimana laporan itu dibingkai, bahwa PGP ingin kita berpikir tentang bot dalam vaping sebagai akun otomatis, yang dirancang untuk tampil seperti manusia, yang beroperasi untuk menyebarkan informasi yang salah tentang nikotin dan rokok elektrik, dan/atau mengiklankan mereka kepada siapa saja dan semua orang, terutama anak-anak.

Tetapi apa yang ingin PGP kita pikirkan ketika kita mendengar “bot” tidak sama dengan apa yang mereka sebenarnya hitung sebagai bot dalam studi ini. Jadi bagaimana PGP sebenarnya mengidentifikasi bot, dan apa yang mereka anggap sebagai bot? Inilah yang mereka katakan di dalam laporan:

“PGP dapat mengidentifikasi pos mana yang memiliki kemungkinan tinggi berasal dari bot dan pos mana yang memiliki kemungkinan tinggi berasal dari manusia…. Peneliti PGP memeriksa berbagai karakteristik akun untuk menentukan kemungkinan sebuah pos berasal dari bot, termasuk (tetapi tidak terbatas pada) frekuensi dan waktu pos, jumlah pos, jumlah pengikut, dan interaksi dengan akun lainnya. Bot, terutama yang dibuat dengan niat jahat, sangat rumit dan sering dirancang untuk terlihat persis seperti manusia. Oleh karena itu, pemeriksaan sederhana terhadap karakteristik dasar akun dan profil tidak cukup untuk mengukur kemungkinan otomatisasi.”

Ini tidak berguna. Saya tidak terlalu peduli seberapa akurat PGP berpikir bahwa metode mereka; saya ingin melakukan evaluasi itu sendiri, dan saya tidak bisa berdasarkan informasi yang mereka berikan. Tetapi semua yang ingin mereka berikan kepada saya adalah alasan yang merendahkan dan terlalu samar untuk tidak memberitahu saya apa yang sebenarnya mereka lihat, sehingga saya bisa menilai sendiri apakah studi mereka valid. Mereka memperlakukan metode mereka seolah-olah ajaib dan membingkainya sebagai terlalu canggih untuk dipahami oleh pembaca mereka, yang pada dasarnya merupakan tanda bahaya besar.

PGP membagikan beberapa klarifikasi pasca-hoc tentang proses klasifikasi dan metodologi mereka di Twitter kemarin yang bahkan lebih samar dan tidak berarti dibandingkan dengan apa yang mereka katakan dalam laporan sebenarnya. Misalnya: “Kami mendefinisikan “otomatisasi" sebagai skor dari 1-100. Robot 100% akan melakukan hal-hal seperti auto-RT, tidak memposting konten asli.”

Peter Sterne, seorang jurnalis lepas yang menulis tentang industri media, dengan ringkas mengartikan masalah dengan definisi bot PGP dalam sebuah pesan pribadi kepada saya: “PGP tampaknya telah mengadopsi definisi bot yang sangat luas (siapa pun yang menggunakan aplikasi auto-posting) yang menyapu banyak orang nyata, sambil secara kuat menyiratkan bahwa semua “bot” adalah bagian dari operasi media sosial yang canggih dan tweet mereka tidak bisa diterima begitu saja.”

Bagaimanapun, PGP jelas tertarik untuk mempelajari bot, bagaimanapun mereka mendefinisikannya. Proporsi bot yang aktif dalam ruang vaping, dan peran yang mungkin mereka mainkan dalam advokasi adalah teka-teki penelitian yang sah, dan saya pikir banyak perokok elektrik akan menemukan studi yang dapat menjawab pertanyaan-pertanyaan ini cukup menarik. Tetapi masalahnya adalah, PGP tidak merancang sebuah studi yang dapat menjawab pertanyaan yang memotivasi laporan mereka.

Jika PGP ingin memahami karakteristik akun dalam populasi tertentu dari pengguna Twitter (misalnya, perokok elektrik) mereka perlu menemukan cara untuk mendapatkan sampel representatif dari akun dari populasi tersebut. Ini hampir tidak mungkin, tetapi itu terlepas dari poinnya karena PGP bahkan tampaknya tidak memahami bahwa mereka perlu melakukan sesuatu seperti ini sama sekali. PGP tidak mengambil sampel akun, mereka mengambil sampel tweet. Tweet-tweet ini dikirim oleh akun (jelas) jadi mereka memang berakhir dengan kumpulan akun, tetapi sangat tidak pantas bagi para peneliti untuk melanjutkan untuk membuat inferensi tentang populasi akun yang melakukan tweeting tentang vaping berdasarkan beberapa akun yang tweetnya kebetulan berakhir dalam sampel mereka.

Masalah besar lainnya dengan laporan ini adalah bahwa ia tidak benar-benar menyebutkan berapa banyak akun unik yang mereka bicarakan di sini. Mereka melaporkan angka tweet (mungkin karena angka tersebut lebih besar, dan PGP ingin mengesankan kita), tetapi kita tidak tahu berapa banyak akun yang mengirimkan tweet tersebut. Dan ini sebenarnya sangat penting jika ada bot nyata dalam sampel (dan kemungkinan ada beberapa) karena bot spam yang tidak jelas dengan nol pengikut yang diprogram untuk tweet ratusan kali per hari tentang vaping bisa saja menghasilkan jumlah tweet yang tidak seimbang dalam seluruh sampel, bahkan jika bot tersebut memiliki sedikit atau tidak ada efek di luar gelembung kecilnya yang terisolasi.

Bot-bot ini sebenarnya bukan bot sama sekali

Kurangnya transparansi, tidak adanya definisi, dan kompetensi metodologi yang jelas sudah cukup untuk mencurigai kesimpulan dari studi ini. Tetapi indikator konkret bahwa temuan PGP tidak valid adalah bagian dari laporan yang dihapus sebelum dirilis ke publik. (Anda dapat melihat versi publik di situs web PGP.)

Kembali ke Wall Street Journal. Ketika mereka meminta saya untuk berkomentar tentang laporan PGP, mereka mengirimkan salinannya kepada saya. Itu sepanjang 32 halaman. Bagian hasilnya sepanjang 15 halaman. Dan sub-bagian dalam hasil tersebut, berjudul “Jaringan Bot,” memakan sekitar 40 persen dari hasil ini. Itu terdiri dari lima analisis “tingkat mikro” dari yang disebut “akun bot” dan “jaringan bot yang diidentifikasi selama proses analisis [PGP].” Mereka menggunakan grafik untuk mewakili setiap jaringan. (Ini adalah versi yang diberikan kepada saya oleh reporter.)

Setiap grafik PGP dibangun di sekitar sebuah node fokus, mewakili “bot” dalam analisis PGP. Node tersebut terhubung ke node lain yang mewakili akun yang me-retweet tweet dari yang disebut bot tersebut. Analis jaringan sosial menyebut representasi grafis ini sebagai “jaringan ego,” karena mereka menggambarkan hubungan antara node pusat (si “ego”) dan node yang terhubung (“alter”). PGP memberi kode warna pada node alter sesuai dengan apakah mereka memenuhi kriteria yang tidak diungkapkan untuk menjadi bot, dengan node putih mewakili akun yang ditentukan sebagai manusia. Node putih adalah minoritas dari node dalam semua jaringan PGP.

PGP ingin kita percaya bahwa sebagian besar aktivitas Twitter tentang vaping mungkin tidak dihasilkan oleh manusia nyata. Mereka menutupi nama bot “ego” di pusat setiap botnet. Mengapa? Dalam laporan tersebut mereka mengklaim ini dilakukan untuk melindungi privasi akun, tetapi jika akun tersebut adalah bot mengapa ini penting?

Sejujurnya, bahkan jika PGP benar-benar tertarik untuk menjaga identitas akun bot yang menyamar sebagai orang nyata yang terlibat dalam diskusi vaping online dengan potensi konsekuensi yang serius bagi kesehatan publik (atau begitu mereka katakan), kenyataannya adalah mereka melakukan pekerjaan yang sangat buruk.

Saya bisa dengan mudah mengidentifikasi akun spesifik yang diwakili sebagai node pusat dalam masing-masing dari lima jaringan bot yang dikatakan PGP terdapat dalam laporan asli mereka. Saya bisa melakukan ini karena PGP menyertakan tangkapan layar tweet dari akun-akun tersebut yang bisa diketik siapa saja ke dalam bilah pencarian di antarmuka pengguna Twitter dan diambil. Saya melakukan itu untuk tweet dari setiap akun, memeriksa jumlah pengikut dan pos mereka dengan apa yang dilaporkan oleh PGP, dan memverifikasi siapa saja mereka. Seluruh proses ini memakan waktu kurang dari setengah jam. Dan tebak apa? Tidak satu pun dari akun-akun ini adalah “bot yang menyamar sebagai manusia nyata.”

Dari lima akun yang dipilih PGP untuk diskusi jaringan bot contoh mereka, hanya satu yang tidak saya kenali. Itu adalah akun komersial yang berbasis di Inggris, menggunakan Twitter untuk mengiklankan daftar eBay mereka untuk berbagai produk, termasuk e-liquid dan CBD. Apakah akun tersebut tampak menggunakan otomatisasi untuk mengirim tweet? Ya. Apakah ada indikasi bahwa orang tidak berada di belakang tweet-tweet itu? Tidak. Apakah seseorang yang masuk akal akan keliru menganggap ini sebagai apapun selain akun komersial dari sebuah perusahaan perdagangan online? Tidak. Apakah ada indikasi bahwa akun tersebut mempromosikan di luar jaringan pengikutnya sendiri? Tidak.

Adapun empat akun yang saya kenal, tiga adalah akun pribadi oleh individu yang merupakan, pendukung vaping yang sudah lama, dan jelas merupakan orang nyata. Satu lagi adalah akun Twitter untuk publikasi ini. Editor berita Vaping360, Jim McDonald, mengelola dan mengirim tweet dari akun ini, dan Jim bukanlah bot.

Jadi dari lima akun yang dikatakan sebagai bot: satu adalah akun untuk publikasi vaping yang dijalankan oleh salah satu jurnalis yang menggunakannya untuk memposting artikel, dan berinteraksi dengan tweeter lainnya (jadi ia memposting konten asli). Tiga adalah individu pribadi yang memperjuangkan vaping. Dan yang lainnya adalah beberapa pengecer asal Inggris. Sangat sulit bagi saya untuk percaya bahwa siapa pun yang akrab dengan akun-akun ini akan menyimpulkan bahwa mereka adalah bot yang menyamar sebagai manusia. Atau bisnis yang menyamar sebagai individu biasa. Atau bisnis yang menggunakan bot untuk menyamar sebagai individu manusia. Atau siapa pun yang terlibat dalam aktivitas jahat, untuk masalah ini.

Dan ini membuat keputusan PGP untuk menutupi nama-nama lima akun ini sedikit mencurigakan. Pertama-tama, tentu saja mereka tahu bahwa akan mungkin bagi seseorang yang ingin tahu siapa akun-akun itu untuk mengetahuinya dengan informasi yang mereka buat tersedia. Jadi mereka tidak melindungi privasi siapa pun, mereka hanya membuatnya sedikit lebih melelahkan bagi seseorang yang ingin mengetahui identitas akun-akun itu untuk menemukan informasi tersebut.

Tangkapan layar yang saya gunakan untuk mencari tweet dari akun-akun ini termasuk retweet dan balasan ke akun-akun dari “alter” yang juga bukan bot—dan tidak ada langkah yang diambil untuk melindungi identitas akun-akun ini. Tangkapan layar PGP mengungkapkan nama dan pegangan akun lain dalam yang disebut “botnets,” hanya saja bukan bot pusat (yang bukan bot).

Semua ini membuat saya sulit untuk percaya bahwa melindungi privasi “bot” adalah alasan utama PGP menyembunyikan ID akun tersebut. Ini tidak masuk akal karena perlindungan sangat mudah bagi siapa pun untuk dilanggar, karena perlindungan tidak diperluas ke akun-akun yang muncul dalam tangkapan layar, dan karena pada akhirnya, PGP memiliki insentif yang jauh lebih besar untuk menyembunyikan informasi ini untuk perlindungan mereka sendiri dan untuk melindungi kredibilitas laporan cacat mereka daripada alasan lainnya.

Melindungi privasi atau menyelamatkan muka?

Saya ingin tahu mengapa PGP menerbitkan versi laporan yang berbeda dari yang mereka bagikan dengan Wall Street Journal. Ternyata begitu juga Gregory Conley, yang meminta mereka untuk mempertanggungjawabkan pilihan ini di Twitter. Jawaban PGP kepadanya adalah ini:

“WSJ memiliki eksklusif penelitian dan kami membagikan informasi selama uji kelayakan. Pada suatu titik kami membagikan 5 akun yang memiliki skor otomatisasi tinggi, dari lebih dari 1 juta pesan yang dianalisis. Kami tidak ingin akun-akun tersebut menjadi target. Jadi baik artikel maupun laporan tidak menyebutkan mereka.”

PGP tampaknya menyiratkan di sini bahwa botnet diberikan kepada Wall Street Journal sebagai konteks tambahan untuk studi akhir. Jika analisis yang saya tandai sebagai cacat fatal sebenarnya tidak pernah dimaksudkan untuk konsumsi publik, dan hanya beberapa materi tambahan yang dikirim ke Jurnal bersama dengan laporan resmi, itu tidak mengubah fakta bahwa hal itu meruntuhkan validitas seluruh studi.

Tapi cukup sulit untuk percaya bahwa mereka tidak berniat untuk memiliki ini dalam versi akhir. Bagian tersebut tercantum dalam tabel konten dari versi laporan yang dikirimkan kepada saya. Ini adalah bagian inti dari bagian hasil mereka, dengan “botnets” dikerangka sebagai ilustrasi dari fenomena abstrak yang mereka klaim laporan mereka terangi. Tidak ada indikasi bahwa konten ini tidak dimaksudkan untuk menjadi bagian utama dari laporan akhir.

Saya diberi kesan bahwa apa yang saya terima adalah laporan akhir, dan ketika saya menandai analisis ini sebagai sangat cacat (dan tidak etis) saya tidak pernah diberitahu bahwa itu adalah bagian seadanya dari studi atau khusus untuk Wall Street Journal. Meskipun saya tidak bisa memastikan, wartawan yang mengirimkannya kepada saya tampaknya juga berada dalam kesan bahwa ini adalah versi akhir. Dan benar-benar, siapa yang akan mengirimkan draf kerja dari laporan yang sangat inovatif kepada surat kabar yang Anda tawarkan eksklusif? Itu tidak benar-benar masuk akal. Dokumen yang menyertakan analisis botnet yang sekarang dihapus sudah sangat rapi, bagian yang dihapus adalah bagian dari tabel konten, tidak ada yang menunjukkan bahwa ini tidak dimaksudkan untuk menjadi produk akhir.

Jika PGP mengetahui betapa buruknya mereka melakukan analisis ini, itu seharusnya membuat mereka mempertanyakan validitas seluruh studi mereka. Hal yang bertanggung jawab, jujur secara intelektual, dan transparan di sini adalah meminta surat kabar untuk menahan atau membatalkan cerita mereka sehingga laporan bisa diperbaiki, atau mungkin jika cacatnya sangat serius, ditinggalkan. Setidaknya, beberapa catatan seharusnya telah dibuat yang menunjukkan bahwa versi yang dikirim ke Journal berbeda dari versi akhir yang dipublikasikan di situs web.

Saya pikir PGP menghapus halaman-halaman itu setelah mereka memahami kejelasan kesalahan serius yang mereka buat. Mereka subversi proses ilmiah normal dalam semua aspek lain dari pekerjaan ini. Mengapa saya—mengapa siapa pun—harus percaya bahwa mereka peduli tentang apapun selain menyimpan muka? Jika PGP memiliki bukti konkret yang sebenarnya untuk mendukung klaim mereka bahwa keputusan untuk memotong bagian ini tidak terkait dengan fakta bahwa botnet mereka sebenarnya bukan botnet, mereka harus maju dengan itu.

Mendewakan para pemrotes yang sah

Laporan PGP melukiskan gambaran jaringan bot canggih yang dirancang untuk menipu orang-orang agar percaya bahwa mereka adalah individu manusia untuk memanipulasi wacana tentang vaping. Fakta bahwa tidak satu pun dari contoh terbaik mereka memiliki salah satu karakteristik akun jenis ini (dan empat dari mereka adalah manusia yang kebetulan saya kenal) menimbulkan pertanyaan serius tentang keandalan seluruh usaha tersebut.

Lingkungan advokasi vaping di Twitter adalah komunitas individu warga yang terhubung longgar yang menggunakan akun media sosial pribadi mereka dalam konteks tertentu. Orang-orang ini tidak ada di Twitter untuk kepentingan peneliti “pemantauan dan komunikasi kesehatan masyarakat” yang oportunistik, yang memiliki sesuatu untuk diperoleh dengan mengumpulkan konten yang dihasilkan pengguna mereka dan menyajikannya di luar konteks untuk mengilustrasikan teori yang sangat tidak mungkin dan tidak jujur secara intelektual bahwa advokat vape yang berpengaruh hanyalah jaringan bot jahat yang canggih, secara duplicitous berpura-pura sebagai manusia untuk menyebarkan informasi yang salah demi kepentingan kekuatan korporat yang tanpa nama, tanpa wajah.

Saya tidak yakin apakah ketidakjujuran yang jelas yang meresap dalam laporan PGP mewakili upaya organisasi untuk menipu publik, atau lebih mencerminkan fakta bahwa mereka telah menipu diri mereka sendiri.

Tapi itu tidak masalah. Dengan atau tanpa bagian “botnets” yang dihapus, laporan PGP adalah sepenuhnya tidak etis. Laporan ini bukan tentang berkontribusi pada pengetahuan tentang advokasi vaping, ini tentang menciptakan kegemparan media di sekitar penemuan mengejutkan yang sebenarnya tidak nyata. Ini dilakukan oleh sekelompok peneliti pasar pribadi yang tidak disebutkan namanya yang baik tidak memahami atau tidak peduli dengan norma-norma kerja ilmiah yang transparan, valid, dan dapat diandalkan. Mereka juga mengabaikan ketidakimbangan kekuasaan yang sangat nyata antara orang-orang yang melakukan penelitian tentang tweeters vaping, dan orang-orang nyata yang menggunakan Twitter untuk mendukung vaping.

Laporan PGP adalah propaganda yang ditujukan untuk mendewakan para pemrotes yang sah, mendiskreditkan tujuan mereka, dan menyensor ucapan mereka di platform media sosial. Laporan itu disajikan dengan lapisan ilmu pengetahuan, tetapi sepenuhnya dimaksudkan untuk melayani kepentingan politik.

Bacaan lebih lanjut yang disarankan: