2024年選挙、最大の脅威は「AI／ディープフェイク」ではなく「杜撰なコンテンツモデレーション」である

Public Knowledge

2024年の大統領選挙まで残すところあと数週間。ソーシャルメディアのフィードには、選挙関連の投稿が偽物だとか嘘だとかいう警告や非難があふれかえっている。政治的立場に関わりなく、生成AI（GAI）によるディープフェイク画像が、今年の選挙で世論に計り知れない影響を与えるという警告が繰り返し発せられてきた。しかし、選挙においてGAIが引き起こすかもしれない脅威にばかり目を向けていると、実際の脅威を見失ってしまう。その脅威とは、多くの場合、政治家自身によって増幅される従来型の偽情報だ。

AIの使用如何に関わらず、多くの人々がフィードで目にする情報の信憑性に、ますます警戒心を強めている。Pew Researchの調査によると、米国民の半数以上がソーシャルメディアからニュースを得ていて、同時に40%がプラットフォーム上のニュースの不正確さにいらだちを感じているという（2018年から2023年の間に9%増加した）。ここに問題がある。大多数の米国民がソーシャルメディアからニュースを得ているのに、その情報が正確性だとは感じていない。これでは、どの情報が真実で、どれが嘘なのかを判断など至難の業だ。

選挙に関する偽情報（ミスリードさせることを意図した虚偽の情報）は今に始まったことではない。政治家には常に、支持を集める（あるいは対立候補を蹴落とす）ために、あからさまな嘘を広める動機が十分にある。偽情報は常に選挙と切っても切れない関係にある。だがソーシャルメディアプラットフォームの対応は、良くて場当たり的、悪くすると無責任なままだ。2024年の大統領選挙まであと数週間に迫った今、プラットフォームによる選挙関連コンテンツのモデレーションをめぐる論争は、最高潮に達している。

AIが生成したコンテンツであれ、ソーシャルメディアの論客が広める政治的な偽情報であれ、プラットフォームの判断が信頼性と安全性に重大な影響を与えることは間違いない。ここで求められる解決策は、プラットフォームに蔓延する選挙関連の偽情報について、プラットフォームに責任を負わせることではない。むしろ、彼ら自身のコンテンツポリシーを遵守するよう促すことだ。有害な偽情報に対抗するために、質の高いニュースや情報へのアクセス拡大と組み合わせれば、生産的で真実かつ健全な情報にアクセスできる機会が増えるだろう。

恐れていたほどの脅威ではなかったAI

今年、英国や欧州連合を含む数十の民主主義国が、米国に先立って主要な選挙を実施した。アラン・チューリング研究所の研究によると、AIを活用した偽情報は実際には選挙結果にほとんど影響を与えていないことがわかった。この研究が示すように、確かに話題を呼んだディープフェイク画像はいくつかあったが、そうしたコンテンツを広めたのは、その内容に同調する少数のユーザに限られていた。つまり、プラットフォーム上で最も声高で分断的な意見は、態度を決めかねている有権者にはあまり影響を与えないのである。米国の選挙でも同様の結果が予想される。

これまでのところ、ユーザは写真がAI生成かどうかを実に上手く見分けている。残念ながら、この有害な情報環境にあって、私たちがますます疑り深くなっているということでもあるのだろう。不信感の増大は決して良いことではない。現時点では、ほとんどのGAI生成画像には「特徴」がある。左手が2つあったり、光の当たり方がおかしかったり、背景がぼやけていたりと、何かしらの不自然さがある（しかし、今年初めに指摘した通り、いずれディープフェイクは非AI生成画像と見分けがつかなくなり、人間が確認して管理するには手に負えないほどの規模で拡散されるかもしれない）。

しかし、このことは私たち一般のソーシャルメディアユーザが、常に嘘やミスリードを意図した情報を見分けられるという意味ではない。生成AIには、あらゆる問題を引き起こしうる要素がすべて備わっている。この点において、GAIディープフェイクの脅威は、我々が予測したような問題を（訳注：現時点では）引き起こしていないが、そうならないという保証はない。

立法者や規制当局は、GAIが選挙にもたらす脅威に対応しようと既に奔走しているが、あまりうまくいってはいないし、修正第1条の問題をめぐる議論も続いている。対策が行われるにしても、その大部分は11月の選挙日のわずか数週間前に実施され、ディープフェイクが選挙にもたらす影響に対して効果を発揮するとは思い難い。むしろ注目すべきは、選挙関連コンテンツの問題を実際に引き起こしているもの、つまり人々の口（あるいは指先）から発せられる虚偽の情報を増幅する党派的な日和見主義者が拡散する潜在的に有害な偽情報と、そのコンテンツへの対処を渋るプラットフォームの姿勢だ。

噂を拡散する党派的な日和見主義者

政治的主張を後押しするために、故意に虚偽の情報を広め、拡散させる興味深いケースをいくつか目にしてきた。ドナルド・トランプ元大統領による、ハイチ移民がオハイオ州スプリングフィールドでペットを食べているという根拠のない主張は、Facebookに投稿された地元の女性の伝聞情報に端を発していた。この噂は警察にすぐさま否定されたが、J.D.ヴァンス上院議員（共和党・オハイオ州）によって拡散され、トランプ自身にも大統領候補者討論会で繰り返し言及された。「隣人の娘の友達が、ハイチ人は私たちのペットを食べていると言っていた」ことが、移民政策に関する政治的主張を裏づけるのに十分な情報源と見なされているのだから、米国民の大多数がフィードに流れてくるニュースの正確性を疑う理由も納得できる。また、右派の政治的コンテンツだけが偽情報を広めているわけではない。リベラルなソーシャルメディアアカウントも、第2期トランプ政権に向けたProject 2025の政策提案について（それ自体は懸念すべきものであるにしても）誤情報を広める機会として利用している。

プラットフォーム上に検証可能な虚偽の情報が氾濫すると、単にフィードに混乱をもたらすだけでなく、有害な影響さえもたらされる。米国南東部に壊滅的な被害をもたらしたハリケーン・ヘレンとハリケーン・ミルトンの混乱が続く中、陰謀論の嵐が巻き起こっている。ほとんどの偽情報は連邦緊急事態管理庁（FEMA）を標的にし、バイデン大統領が主に右寄りの選挙区の災害救援を遅らせ、その地域の市民が投票できないようにしようとしているという主張が広まった。FEMAは、ソーシャルメディアに溢れる憶測から生まれた偽情報の数々を払拭するために、ウェブサイトに「うわさへの対応」ページを設置するまでに至っている。ハリケーン・ヘレンとミルトンの災害に苦しむ人々が、緊急支援を提供する任務を負う政府機関を信頼しないよう告げられれば、ただでさえ命に関わる状況であるにもかかわらず、さらなる困難を抱えることにもなる。

我々、Public Knowledgeの基本原則は表現の自由の権利を支持していることを明確にしておきたい。また、有害な影響をもたらしうるコンテンツのモデレーションに関する基準を定め、その実施の責任をプラットフォームに負わせるべきだとも考えている。ユーザは、選択したプラットフォームの利用規約を理解し、それがコンテンツポリシーの観点から何を意味するのかを理解し、プラットフォームがそれらのポリシーを一貫して実施することを期待できなければならない。しかし今日まで、プラットフォームは問題のある選挙関連コンテンツへの対処において、一貫性を欠く対応を続けてきた。

有害な影響を及ぼしかねないコンテンツの抑制は、選挙干渉ではなくコンテンツポリシーの執行である

今年初め、イランのハッカーが、トランプのスタッフから「J.D.ヴァンス内部書類ドシエ」を盗んだと伝えられている。これは、ヴァンス上院議員が大統領候補ドナルド・トランプの副大統領候補に選んだ場合の潜在的な弱みを詳細に記した271ページの背景報告書だった。盗まれた内部書類を受け取った主要ニュースメディアは、報道に値しないと判断して報道しないことを決めた。おそらく、内部書類は疑わしい状況において（外国の工作の結果ととして）入手されたものであり、信頼されるニュースメディアはハンター・バイデンのラップトップ騒動と同様に、未確認の情報を拡散することを躊躇したのだろう。

だが、独立ジャーナリストのケン・クリッペンスタインは、「選挙シーズンにおける強い公共の関心事である」と考え、自身のXとThreadsのアカウントで内部報告書へのリンクを投稿した。彼はすぐさまXからアカウントを凍結された。ドキュメントへのリンクはMetaとGoogleからもブロックされたが、クリッペンスタインのSubstackサイトには残っている。

一見すると、XとMetaによる内部文書の配布制限は、Xオーナーのイーロン・マスクの掲げる絶対的な言論の自由の理念ｔも、Metaオーナーのマーク・ザッカーバーグが最近下院司法委員会で述べた「（選挙関連コンテンツの扱いについては）中立」だという声明にも反するように思える。だが実際には、ソーシャルメディアによるクリッペンスタインへの対応は、まさに我々がプラットフォームに求めているものである。つまり、コンテンツポリシーに従って行動するということだ。クリッペンスタインはXのプライバシーコンテンツポリシーに違反した。このポリシーでは、「他人の個人情報を、その人の明示的な許可なしに公開すると脅したり、他人に公開を奨励したり、公開したりしてはならない。また、個人の同意なしに個人のプライベートな情報を共有してはならない」と定められている。（後にXは、クリッペンスタインのアカウントを復活させたが、これは異議申し立てプロセスの結果ではなく、おそらくXをそのオーナーが宣伝するような「言論の自由の砦」としての体裁を保つためだったのだろう。結局のところ、トランプ陣営がXに内部文書の流通を制限するよう圧力をかけていたことが明らかになり、ハンター・バイデンのラップトップ騒動を非難することの偽善性が露呈した）。Metaも同様に、個人を特定できるプライベート情報や、より一般的に「ハッキングされたソースから得られた情報」を共有するコンテンツを削除するポリシーを持っている。

「ソーシャルメディア・プラットフォームはリベラルに偏向していて、保守的なコンテンツを過剰に検閲している」と感じる人々には、クリッペンスタインのブロックは異例に映るかもしれない。クリッペンスタインの一件で問題なのは、大手ソーシャルメディアプラットフォームがJ.D.ヴァンス・ドシエの共有をブロックしていることではない。問題は、プラットフォームが一貫性を欠き、異議申し立てもできない常体で、コンテンツポリシーを適用していることだ。

オックスフォード、MIT、イェール、コーネルの研究者たちは最近、プラットフォーム上の右派の声に対する「非対称的制裁」の問題について調査した。彼らは過去の研究者と同様に、保守的傾向のあるユーザは、質の低いニュースサイトやボットによって生成されたコンテンツへのリンクをより多く共有する傾向があり、それらがコンテンツポリシーに違反する可能性が高いことを明らかにした。言い換えれば、保守的な声は他のユーザよりも頻繁にルールを破るため、より頻繁にモデレーションの対象となっているのである。

研究者たちは右寄りのユーザがより多くモデレーションされていることを確認したが、依然として利用規約に違反するコンテンツのモデレーションは一貫性を欠いている。自然災害が南東部を襲う中、X（旧Twitter）では反ユダヤ主義的な憎悪が蔓延している。FEMAの広報ディレクターであるジャクリン・ローゼンバーグや、アシュビル市長のエスター・マンハイマーなどのユダヤ人官僚・公職者が、FEMAの災害対応を取り巻く虚偽の噂や陰謀論に巻き込まれ、深刻なオンラインハラスメントに晒されている。反ユダヤ主義とFEMAのハリケーン対応に関する誤情報が融合した有毒な環境は、オンラインの脅威が現実の危害を引き起こしうる不安定な状況を醸成している。

実際、Xには民族、人種、宗教に基づく直接な攻撃を禁止するポリシーがあり、「特に歴史的に疎外されてきた人々の声を沈黙させようとする抑圧との戦いを約束」している。ソーシャルメディア・プラットフォームでヘイトスピーチが制限されなければ、現実世界に深刻な結果をもたらす。そのような結果を避けるために、コンテンツ・モデレーションは重要な役割を果たすことができるし、そうすべきだ。驚くべきことに、FEMA職員への暴力を呼びかけ、保護すべきグループへの憎悪に満ちた比喩を広める投稿は、Xに残されたまま何百万回にわたって閲覧されている。このことは、プラットフォームがコンテンツモデレーションポリシーの遵守において悲惨なほど一貫性を欠いていることを明確に示している。

Xのコミュニティノートは、ユーザに投稿のファクトチェックをクラウドソーシングする重要な防衛線ではあるが、虚偽で有害なコンテンツの氾濫に対処するには十分ではない。危機の時代には、プラットフォームに現実に影響を及ぼしうる偽情報をダウンランク／削除するポリシーを整備しなければならない。この場合、FEMAの災害対応者に関する虚偽の情報を放置するという決定は、実際の被害者が必要な支援を受けられない、あるいは役人が命を救う仕事を遂行するだけで現実の暴力の脅威に晒されることを意味しかねない。

この混乱から学べること

2024年の大統領選挙まであと数週間に迫っているが、プラットフォームのコンテンツモデレーションの状況は、良く言えば一貫性を欠き、悪く言えば無責任なままだ。AI生成のディープフェイクは予期していたような混乱を引き起こしてはいないが、従来型の偽情報は依然として盛んで、多くの場合、政治家自身によって拡散されている。

コンテンツモデレーションをめぐる議論が紛糾するのには理由がある。表現の自由は民主主義の基本であり、ソーシャルメディアプラットフォームは言論の重要なパイプ役である。しかし、オンラインプラットフォームを基盤とする言論が危害を引き起こす可能性があり、明らかにコンテンツポリシーに違反している場合、プラットフォームには約束したとおりに対処する義務がある。そして、健全な情報システムを強化するには、プラットフォームのコンテンツポリシーにとどまらない一連の行動が必要だ。

プラットフォームのコンテンツモデレーションの選択が気に入らないなら、自分の選んだ言論のために、他の場所でより良い場所を見つけることができるはずだ。クリッペンスタインの場合、SubstackやBlueskyなどプラットフォームはJ.D.ヴァンス・ドシエへのアクセスをブロックしておらず、それぞれ微妙に異なるコンテンツモデレーションポリシーを持つ多数のプラットフォームの選択肢にアクセスできることが、なぜ言論に取って重要なのかを示している。さらに、プラットフォームが相互運用可能であれば、ユーザはネットワークを失うことなく、よりシームレスにプラットフォーム間を移行できる。それこそがより望ましい状況だ。

コンテンツがモデレーション（ダウンランクまたは削除）され、ユーザが影響を受ける（凍結または禁止）場合、利用規約に違反したコンテンツについて明確な説明があり、ユーザがプラットフォームが恣意的または一貫性がないと感じたならば、異議を申し立てる手段があってしかるべきだ。端的に言えば、プラットフォームはユーザにデュー・プロセスの権利を与えるべきである。

また、意図的に虚偽のニュースを質の高いニュースで相殺する必要がある。そのためには、ニュースに特化したポリシー（pro-news policy）が必要だ。目指すべきは、物議を醸すコンテンツをすべて排除することではなく、真実が浮かび上がる可能性を最大化し、市民が信頼にできる情報に基づいて意思決定できる環境を作り出すことである。我々が提案する解決策の一つは、インターネットのスーパーファンド（Superfund for Internet）だ。適格プラットフォームから支払いを集めて信託基金を設立し、信頼できる報道機関が提供するファクトチェックやニュース分析サービスを支援する財政的インセンティブを生み出すものである。

この問題に対する解決策は、プラットフォーム上のあらゆる選挙関連の偽情報についてプラットフォームに責任を負わせることではない。そうではなく、プラットフォームに対して、明確で一貫したコンテンツ・モデレーションととデュー・プロセスを実施するよう要求することで、自らのコンテンツポリシーを遵守するよう圧力をかけるべきだ。有害な偽情報に対抗するために、質の高いニュースや情報へのアクセスを拡大すれば、より生産的で真実かつ健全な情報エコシステムを育成する機会が得られるだろう。そして、もしGAIによって生成されたコンテンツが我々の警告通りの影響を及ぼすようになれば、プラットフォームはより適切に対応する態勢を整えることができるだろう。我々の民主主義システムの完全性、制度への信頼、そして危機に有効に対応する能力は、こうした取り組みにかかっているのかもしれない。

So Far, the Biggest Threat to Election Integrity in 2024 Isn’t Deepfakes – It’s Bad Content Moderation – Public Knowledge