以下の文章は、コリイ・ドクトロウの「Conspiratorialism as a material phenomenon」という記事を翻訳したものである。
Pluralistic
人々の誤信や愚行の原因をAIに求める話が飛び交っているが、少し懐疑的な目で見る必要がある。確かにAIが吐き出すスロップ（slop｜訳注：生成AIが出力する膨大かつ低品質な画像や動画、テキストなどを揶揄する言葉）がSNSを埋め尽くしている状況は好ましくないが、スロップがもたらす害そのものはさして大きな問題ではない。
本当の問題は、すでにAI企業が売り込んでいるAIによるソリューションにこそある。その最たる例が、愚かなエリック・アダムス市長が軽率にもNYC地下鉄に導入したAI銃器探知装置だ。2,749件もの身体検査を実施したにもかかわらず、銃器は1丁も見つからなかった。
https://www.cbsnews.com/newyork/news/nycs-subway-weapons-detector-pilot-program-ends
犯罪予測にAIを導入すると（予測的取り締まり、保釈判断、児童保護サービスの警告フラグなど）、既存のシステムに内在するバイアスが増幅される。さらに悪いことに、AIはこのバイアスに「科学的中立性」という装いを与えてしまう。このプロセスは「経験主義ウォッシング」と呼ばれ、たとえば「これはただの数学だ。数学に差別など存在しない」といった言い回しを聞いたことがあるのなら、まさにそれだ。
https://pluralistic.net/2024/04/23/maximal-plausibility/#reverse-centaurs
カスタマーサービスをAIに置き換えば、ユーザを組織的に欺くようになる。しかも企業は「責任の空洞化（accountability sink）」でAIに責任をなすりつけ、詐欺的な行為の責任逃れをする。
https://pluralistic.net/2022/02/16/unauthorized-paper/#cheating-anticheat
「ヒューマン・イン・ザ・ループ」に情報を提供するはずの高速な「意思決定支援」にAIを導入すると、人間の監督者はAIが突きつけてくる情報にすぐさま圧倒されることになる。そして「モラル・クランプルゾーン（道徳崩壊ゾーン）」となって、人間はただひたすらに「OK」ボタンを連打することになる。リモートの学生の不正行為を告げ口する監視ソフトを人間が監督する場合には、深刻な問題を引き起こすだろう。
しかし、医師が電子カルテシステムにメモを送るための文字起こしがAIによって担われる場合には、命に関わるおそれすらある。このシステムは、患者の治療を「アップコード」する口実を探して医療保険詐欺を働くように最適化されている。これらのAIは医師が言っていないことを捏造し、医師が確認することになっている記録に挿入する。だが、そもそもAIが導入された理由は、医師が患者の診察に時間を割けないほど事務作業に追われているからだということを忘れてはならない。
つまり「AIへの懸念」はゼロサムゲームなのだ。AI株式詐欺師のビジネスプランにとって重要でないもの（AIスロップなど）を批判しても意味がない。なぜなら、AI企業はそうした活動をすべて停止しても収益には何の影響もないからだ。一方で、最も直接的な害をもたらすAIアプリケーション（警察活動、医療、セキュリティ、カスタマーサービス）に目を向けると、それは同時に最も儲かるアプリケーションであり、最大の投資を呼び込むものでもある。
AIが数千億ドルもの投資を集めているのは、投資家がAIスロップを愛しているからではない。投資家、顧客、大都市の愚かな市長たちからシステムに流れ込む資金は、AIが本来まったく不得意な分野に費やされており、しかもそれはAIスロップよりもはるかに大きな害を及ぼしている。優れたAI批評家たらんとするなら、こうしたアプリケーションにこそ焦点を当てるべきだ。確かに、見た目のインパクトは弱いかもしれない。しかし、その信用を失墜させることは経済的なインパクトを持つ。それこそが最も重要なことなのだ。
とはいえ、AIスロップが実在し、その量も膨大であることは事実だ。AI企業が実際に販売しているものほどの優先順位は高くないものの、文化的な意義はあり、考慮に値する。
AIスロップはFacebookをボットシットの肥溜めに変えてしまった。怠惰で下品な エンゲージメントベイトの大部分は、一攫千金「講座」を熱心に受講し、「エビ・ジーザス」やニセのチェーンソー彫刻を量産する仕事熱心なスパマーたちの産物だ（訳注：参考記事）。
https://www.404media.co/email/1cdf7620-2e2f-4450-9cd9-e041f4f0c27f
発展途上国の貧しいエンゲージメント小作農にとって、スロップの中身など重要ではない。彼らはFacebookがクリックベイトに支払うわずかな小銭を追いかけているだけだ。このスパマーたちは、必ずしもMetaの主力収益源である裕福な世界のFacebookユーザの心理を理解しているわけではない。ただひたすらにあらゆることを試し、ひとたび反応があれば何だって倍増させ、A/Bテストを繰り返しては奇妙で、過剰に最適化された、グロテスクなガラクタを生み出しているのだ。
つまりFacebookのAIスパマーは、ウィジャボード（占いボード）の文字のように様々な可能性を並べ、Facebookユーザのクリックとエンゲージメントが集合的なイデオモーター反応（訳注：無意識に引き起こされる身体の動作）となって、アルゴリズムのプランシェット（訳注：こっくり占い板）を我々の集合的な喜び（というより嫌悪感）に最も強く引きつける選択肢へと動かしているのである。
したがって、AIスパマーがイデオロギーや美的傾向を作り出し、混乱した数百万のFacebookユーザを超現実的なボットシットの非難や称賛、議論に駆り立てているのではなく、スパマーがターゲットの集合的な憧憬や恐怖からトレンドを見つけ出し、予期せぬニッチを探求しながら無限に分岐するバリエーションを探索していくことで、それらを洗練させていると考える方が正しいのだろう。
（AIに詳しいなら、敵対的生成ネットワーク（GAN）を思い出したかもしれない。1つのボットがテーマのバリエーションを作成し、もう1つのボットがそのバリエーションが理想にどれだけ近いかを判定する。この場合、スパマーが生成器で、反応を示すFacebookユーザが判別器ということになる）
https://en.wikipedia.org/wiki/Generative_adversarial_network
今日、テイラー・ロレンツの優れたニュースレターUser Magを読んでいて、新しいAIスロップのトレンド「私の車に卵を投げつけた隣人の呆れた理由」について考えさせられた。
https://www.usermag.co/p/my-neighbors-ridiculous-reason-for
「車への卵投げ」スロップは、投稿者（典型的には同情を誘う人物で、双子の赤ちゃんを抱えたシングルマザー）が、ハロウィンの派手な飾り付けを遮るように駐車したことへの仕返しとして、意地悪な隣人が大量の卵を車に投げつけてきたと訴える物語の無限のバリエーションで構成されている。テキストにはAIが生成した画像が添えられていて、数十個もの割れた卵が塗りたくられた質素な自家用車が描かれている。
ロレンツによると、このスロップのバリエーションは「映画の登場人物」、「USAストーリー」、「バレーボール女子」、「トップトレンド」、「ラブスタイル」、「神の祝福」など、数百万人規模のFacebookディスカッションフォーラムで上位を占めているという。これらの投稿はプログラム広告をモリモリに載せたSEOサイトにリンクしている。
そのカラクリ（funnel ）はこうだ。
i. 怒りを喚起し、それによって広く拡散させる。
ii. 投稿を見た人のごく一部がSEOサイトをクリックする。
iii. そのうちのごく一部が質の低い広告をクリックする。
iv. その広告がスパマーに雀の涙ほどの小銭を支払う。
この手の詐欺がもたらすユーザ1人あたりの収益は限りなくゼロに近い。だからこそ、極めて広範囲に拡散する場合にしか機能しない。これがスパムがエンゲージメント最大化を目指して設計されるゆえんでもある。投稿が生み出す議論が活発なほど、Facebookはより多くのユーザにそれを推奨するからだ。
これらは極めて効果的なエンゲージメントベイトである。ほぼすべてのAIスロップは、AI詐欺だと知らずにコメントするユーザと、その騙された連中を非難するユーザとの議論という形で、いくばくかの無料のエンゲージメントを獲得する。これはビンゴカードの中央にあるフリーマスのようなものだ。
それ以上に、様々な怒りを引き起こせる。食べ物を粗末にするなと怒る人もいれば、可哀想な「母親」に同情する人もいる（両方の感情を抱く人もいる）。ユーザは想像しうるあらゆる罪に怒りを表明するだけでなく、例えば「加害者」の意地の悪さと食品を粗末にしたことのどちらが重要なのかについても議論できる。さらには、悪者への報復を妄想したり、AIが生成した架空の郊外に行って「隣人をとっちめてやる」と言い出す人まで出てくる。つまり、この退屈なフィクションの背後にいるスパマーは、あらゆる種類のユーザの注目を引きつける方法をよく理解しているのだ。
もちろん、スパマーの取り分は微々たるものだ。「アテンション・エコノミー」なるものは存在しない。注目は勘定単位にも、交換手段にも、価値の貯蔵手段にもなりえない。注目は――暗号通貨のような、経済の基盤となりえないものと同様に――経済的意義を持つ前にお金に変換されなければならない。だからこそ、「マネタイズ」のような歯の浮くような陳腐なハイテク造語が生み出された。
注目のマネタイズは極めて効率が悪い。しかしAIは大幅な補助を受けているか、（少なくとも今は）無料だ。そのため、世界最大のベンチャーキャピタルとプライベートエクイティファンドは、西海岸のハッスルカルチャーに染まった変人たちが、エンゲージメントベイト・スロップで人々を2度だまして数ドルを稼げるよう、公的年金基金と富裕層の貯蓄から数十億ドルを投じて、CO2の排出、GPU、そしてボットシットに投資している。
スロップは本質的な問題ではない。しかし、集合的なイデオモーター反応を可視化し、我々の希望と恐怖を垣間見せるという意味では有用である。「車への卵投げ」のスロップは、我々の思考の何を映し出しているのだろうか？
ロレンツはニューヨーク市立大学クイーンズ校のメディア学者ジェイミー・コーエンの言葉を引用している。コーエンによれば、このスロップの本質は「隣人に対する人々の恐れと不信感」にある。そして「次のトレンドは、より異常で暴力的なものになるだろう」と予測する。
この指摘は的確だ。隣人への不信感は、必然的に自分と家族だけを信頼することにつながる。マーガレット・サッチャーが好んで口にした言葉を借りれば、「社会なんて存在しない。存在するのは個人としての男女とその家族だけだ」ということになる。
我々は「社会なんて存在しない」かのように世界を構築してきた40年の実験の終末期に生きている。福祉のセーフティネットは切り裂かれ、公共サービスは閉鎖か民営化され、労働組合のような連帯組織はほぼ姿を消した。
これは美学だけの問題ではない。原子レベルに分断された社会は、連帯意識のある社会に比べて、極端な富の不平等を受け入れやすい。「賢明な消費者」として「財布で投票する」力しか持たないのであれば、気候危機への対応として別の車を買うことしかできない。車を不要にする公共交通システムを作り出すことは到底できないのだ。
「財布で投票する」しかできない人が、動物虐待と生息地の破壊に対してできることは、肉を食べる量を減らすかなくすことだけだ。「財布で投票する」人が、高額な薬価に対してできることは「より安い商品を探し回る」ことだけだ。財布で投票する人が、銀行に家を差し押さえられた時にできることは「次は慎重に貸し手を選ぶ」ことだけだ。
財布で投票するというのは、最も分厚い財布を持つ者が必ず勝つ選挙への参加なのだ。富裕層が長い時間をかけて、隣人は信用できない、社会なんて存在しない、良いものなど持てないと我々に教え込み続けてきた理由がここにある。他に選択肢などないのだ、と。
商業的監視産業は広告を売るのに都合がよいので、必死になって説得力があると信じ込ませようとしている。しかし、マインドコントロールの主張は極めて疑わしい。ラスプーチンからMKウルトラまで、これまでマインドコントロールの成功を主張した者は揃いも揃ってウソつきだった。
https://pluralistic.net/HowToDestroySurveillanceCapitalism
こうしたプラットフォームは、人々に何かを説得させられる場としてではなく、人々が物質的な条件によって駆り立てられたイデオロギーを発見し、強化する場として理解すべきである。Facebookのようなプラットフォームは、我々を互いに可視化し、我々が「社会なんて存在しない」40年を経て渇望する連帯を、不完全ながらも補う集団を形成させる場となっている。
「車への卵投げ」スロップで最も興味深いのは、我々の多くが持つ、矛盾した2つの確信を明らかにしたことだ。1つは、他人はちょっとしたことで敵意を向けてくるモンスターだということ。もう1つは、我々はそんなモンスターの被害者のために立ち上がる人間だということだ。
(Image: Cryteria, CC BY 3.0, modified)
Pluralistic: Conspiratorialism as a material phenomenon (29 Oct 2024) – Pluralistic: Daily links from Cory Doctorow
Author: Cory Doctorow / Pluralistic (CC BY 4.0)
Publication Date: October 29, 2024
Translation: heatwave_p2p
