たった1つのデータベースがすべてを決定する：インターネットの表現の自由を蝕む見えざるコンテンツ・カルテル

Electronic Frontier Foundation

毎年、テロリストや暴力的過激派のコンテンツが含まれているとして、無数の画像、動画、投稿が、YouTube、Facebook、Twitterなどのソーシャルメディアから削除されている。こうした削除の背景には「テロリストや暴力的過激主義者がデジタルプラットフォームを利用するのを防ぐ」ことを目的とした業界主導のイニシアチブ、GIFCT（Global Internet Forum to Counter Terrorism）の存在がある。そして残念なことに、GIFCTは特定のコミュニティの表現の自由に大きな（そして不均衡な）悪影響を与える可能性がある。

ソーシャルメディアプラットフォームは、自社のプラットフォーム上にある過激派コンテンツや暴力的コンテンツの問題に長い間頭を悩ませてきた。プラットフォームは、ユーザに不快なコンテンツのないオンライン環境を提供したいと願ってはいるのだろう。そのため、多くのソーシャルメディアプラットフォームの利用規約には、さまざまな表現に関する規定が盛り込まれている。しかしこの10年、ソーシャルメディアプラットフォームは世界中の政府から、プラットフォーム上の暴力的・過激主義的コンテンツに対応するよう圧力を受けてきた。2015年、2016年にそれぞれパリ、ブリュッセルで起きたテロ事件をきっかけに、各国政府は検閲が過激主義に対抗する有効な手段であるという近視眼的な思い込みに導かれ、国際的なテロリズムを解決する手段としてコンテンツ・モデレーションの調整に目を向けるようになった。

商業的コンテンツ・モデレーションとは、利用規約や「コミュニティ・スタンダード」などのルールに基づいて、プラットフォーム（具体的には、人間のレビュアーや、多くの場合は機械）が、サイトに掲載してよいコンテンツとしてはいけないコンテンツを決定するプロセスのことである。

新型コロナウィルスのパンデミックにより、ソーシャルメディア企業は人間のコンテンツレビュアーを働かせることができなくなり、それに代わって機械学習アルゴリズムに頼ってコンテンツをモデレーションしたり、フラグを立てることが多くなっている。アルゴリズムとは、実際に何かを行うための指示書のようなもので、最初にルールを設定し、類似したコンテンツを識別できるようになることを期待して学習データを与える。しかし、人間の発言は複雑な社会現象であり、文脈に大きく依存しているため、必然的にコンテンツ・モデレーション・アルゴリズムは間違いを犯す。さらに悪いことに、機械学習アルゴリズムは一般に、どのようにして判断に至ったかを説明しないブラックボックスとして機能し、企業は通常、自社の技術基盤となる基本的な家庭や学習データセットを明らかにしないため、間違いを防ぐことはほぼ不可能である。

この問題は、過激派コンテンツを追跡・削除するためのハッシュデータベースの導入により、さらに深刻になる。ハッシュはコンテンツのデジタル「指紋」のことで、企業が自社のプラットフォームから特定のコンテンツを識別して削除するために用いられている。ハッシュは基本的に固有のものであり、特定のコンテンツを容易に識別できる。ある画像が「テロリストコンテンツ」と認定されると、その画像のハッシュをデータベースに登録し、今後同じ画像がアップロードされても簡単に検出できるようになる。

これこそがGIFCTイニシアチブの目的である。企業が自主的に提供した「テロリスト」と疑われるコンテンツの膨大なデータベースを、企業メンバー間で共有するのである。このデータベースはコンテンツそのものではなく、「テロリスト」「過激派」「暴力的」と判定されたコンテンツの「ハッシュ（固有の指紋）」を収集する。GIFCTのメンバーは、このデータベースを利用することで、ユーザがアップロードしようとするコンテンツがデータベース内の素材と一致するかどうかをリアルタイムでチェックできるようになる。テロリストのコンテンツを正しく識別して削除するという困難な作業を効率化するアプローチのようにも見えるが、それは同時に、何が許容される言論で、何が削除されるべきかを決定するたった1つのデータベースが、インターネット全体に適用される可能性があることを意味する。

人間のレビュアーであろうと、アルゴリズムであろうと、アクティビズム、対抗言論、過激派コンテンツのニュアンスを一貫して正しく把握することは非常に難しいことが、数え切れないほどの事例によって証明されている。その結果、多くの正当な言論がテロリストのコンテンツとして誤って分類され、ソーシャルメディアのプラットフォームから削除されてしまう。GIFCTデータベースの利用が広がっているため、動画や写真、投稿が誤って「テロリスト」コンテンツと分類されてしまえば、その間違いはソーシャルメディアプラットフォーム全体に影響し、ユーザの表現の自由の権利が一度に複数のプラットフォームで損なわれてしまう。そうなれば、記憶と記録の場としてのインターネットに壊滅的な影響を与えることになる。曖昧なコンテンツ・モデレーション・システムは、人権侵害や戦争犯罪の証拠など、他では入手できない重要な情報を削除してしまう可能性すらある。例えば、シリア戦争中の残虐行為の証拠の収集・共有・保管を目的としたNGO Syrian Archiveは、戦争中の残虐行為を撮影したビデオがYouTubeによって年間数十万本も削除されていると報告している。同団体によると、シリアの人権侵害を記録した動画の削除率は約13％と推定され、それがこのコロナ禍で2倍の20％にまで上昇しているという。上述の通り、YouTubeなどの多くのソーシャルメディアが、通常よりもアルゴリズムによるコンテンツ・モデレーションの比重を高めていて、その結果、削除数が増加している。シリアの人権侵害を記録したものであるにも関わらず、YouTubeのアルゴリズムによって「テロリスト」コンテンツとしてタグづけされたコンテンツのハッシュを、YouTubeがGIFCTデータベースに投稿した場合、そのコンテンツは複数のプラットフォームで永遠に削除され続けることになるかもしれない。

GIFCTのコンテンツ・カルテルは、貴重な人権の記録を失うリスクをもたらすのみならず、一部のコミュニティに偏って悪影響を及ぼしもする。「テロリズム」の定義は本質的に政治的であり、時間・空間を超えて一意に定まることはほとんどありえない。何がテロリストで、何が暴力的過激派コンテンツを構成するかについての国際的合意がないため、企業は国連の指定テロリスト組織リストや米国国務省の外国テロリスト組織リストを参考にしている。しかし、それらのリストは主にイスラム組織を対象としており、たとえば極右過激派グループなどはほとんど含まれていない。したがって、GIFCTの誤分類による悪影響は、イスラムやアラブのコミュニティに偏ることになる。このことは、ネット上の憎むべきコンテンツへの効果的な取り組みと、徹底的な検閲との境を曖昧にする。

2019年3月にクライストチャーチの2つのモスクが襲撃されて以来、GIFCTはそれまで以上に注目を集めている。51人が犠牲になったこの銃撃事件を受けて、フランスのエマニュエル・マクロン大統領と、ニュージーランドのジャシンダ・アーダーン首相は、「クライストチャーチ・コール」を立ち上げた。このイニシアチブは、ネット上の暴力的、過激派コンテンツの排除を目的としたもので、GIFCTが重要な役割を果たすことが期待された。こうしてGIFCTが再注目されたことを受けて、GIFCTは市民社会、政府、政府間組織の声を代表する独立諮問委員会（IAC)を新たに設置し、独立機関に進化すると発表した。

しかし、実権を握る運営委員会は、依然として産業界の手に委ねられている。また、独立諮問委員会は、すでに市民社会団体の連帯が繰り返し指摘しているように、すでに重大な欠陥を抱えている。

たとえば、IACに参加する政府は、その立場を利用して企業のコンテンツ・モデレーション・ポリシーに影響を与えたり、テロリストコンテンツを自分たちの利益に適うように定義する可能性が高く、それが秘密裏に行われることから、説明責任を果たすこともできない。また、IACに政府を参加させることは、多くの市民社会組織が財政的に政府に依存していたり、フォーラムで政府高官を批判すれば報復されかねないことを考えれば、市民社会組織の意味のある参加を妨げることにもなりかねない。市民社会が後回しにされる限り、GIFCTは有効なマルチステークホルダー・フォーラムにはなりえないのである。GIFCTの欠陥、そしてそれが表現の自由や人権、戦争犯罪の証拠保全にもたらす壊滅的な影響は、何年も前から指摘されてきた。市民社会団体は組織改革を訴えてきたが、GIFCTと新事務局長は一向に耳を傾けようとはしていない。そしてこれがIACの最後の問題にもつながっている。主要NGOがIACへの不参加を選択しているのである。

その結果、GIFCTと、GIFCTポリシーが影響を及ぼす無数のインターネットはどうなるのか。決して良い状況ではない。意味のある市民社会の代表と参加、完全な透明性と意味のある説明責任のメカニズムがなければ、GIFCTはマルチステークホルダー主義を約束していながら、政府公認のまやかし以上のものを提供しない、業界主導のフォーラムになってしまう危険性がある。

One Database to Rule Them All: The Invisible Content Cartel that Undermines the Freedom of Expression Online | Electronic Frontier Foundation