ソーシャルメディアのコンテンツ・モデレーションは破綻している

Electronic Frontier Foundation

ソーシャルメディア・プラットフォームは、日夜「コンテンツ・モデレーション」を行っている。ソーシャルメディアやデジタルプラットフォームは「コミュニティ・スタンダード」ポリシーの違反を理由に、ユーザのアカウントや投稿された情報を非公開化したり、ランクを下げたり、時に完全に検閲することもある。近年、このようなやり方は、市民の大きな関心事となっているが、時を同じくして政府や一部の市民から各種の発言を制限するよう求める圧力が高まっていることは偶然の一致ではない。プラットフォームは法規制を回避すべく自主規制に苦慮しているが、それゆえに投稿を幅広く、積極的に取り締まるようになっている。

私たちは、コンテンツ・モデレーションは現代のソーシャルメディアに不可欠な要素であると考える。しかし、そのシステムの具体的なあり方について、結論をだすのは容易いことではない。ソーシャルメディアの黎明期には、何を許可し、何を許可しないかの判断は、小規模なチームや個人によって決定されることが多く、都度判断されることもあった。そうした決定が、今日のソーシャルメディア体験の原型を作り上げていった。

ロズ・ボーデンは、MySpaceの転換期ともいえる2005〜2008年にコンテンツ・モデレーターを訓練し、彼らが従うべきルールを作り上げた（2017年のUCLAの「モデレーションのすべて」カンファレンスで自身の体験を語っている）。ボーデンは昨年、BBCに次のように述べている。

私たちはルールを作り出さなくてはなりませんでした。ポルノを見ては、小さなスパゲティストラップのビキニは果たしてヌードなのか、MySpaceにとってどこまでのセックスが行き過ぎたセックスなのかという問いへの答えを出さなくてはなりませんでした。私たちは一緒になってルールを作っていきました。誰かの首を切り落とすビデオを許可すべきか。それはダメだ。ではアニメならどうか。トムとジェリーならいいのだろうか、と。

同様に、初期Googleの次席法律顧問を務めたニコル・ウォン氏は、問題を引き起こす発言やその他の表現について彼女と彼女のチームが難しい判断を下し続けたことから、社内で「決定者」と呼ばれていたという。2008年にニューヨーク・タイムズに掲載されたジェフリー・ローゼン氏のコラムでは、グーグルの市場シェアと（ウォン氏のチームによる）モデレーションモデルの結果として、「ウォン氏とその同僚たちは、インターネットにおける表現のあり方に地球上の誰よりも強い影響力を持っていることは間違いない」と指摘されている。

長年に渡り、浮き沈みの激しいシリコンバレーのさまざまなアクターによって断片的に構築されてきたコンテンツモデレーションは、数十億人規模のプラットフォームで運用されることを想定していたわけではない。我々が日常的に利用するプラットフォームを設計したエンジニアたちは、活動家が暴動を呼びかけたり、政府関係者が虐殺を呼びかけるのに利用されるとは想像だにしなかったであろう。また、テロリズムやフェイクニュースに至るまで、さまざまな言論の規制をもとめる政治家や一般市民の圧力が高まる中、企業は大規模なコンテンツ・モデレーション手法を懸命に模索している。

だが、それがうまくいくことはないだろう――少なくとも、収益への執着の半分でもオンライン表現の保護に熱心にならなければ。

コンテンツ・モデレーション・システムは根本的に崩壊している

その理由を以下に挙げていこう。

1. コンテンツ・モデレーションは危険な仕事――だがロボット任せにはできない

実際のコンテンツ・モデレーションは、オンライン空間から人の目に触れるべきでない表現を排除するために、遠く離れた地域（多くの場合、経済的に豊かではない）人々に依存している。海外企業に作業をアウトソーシングしている大手プラットフォームの多くは、労働者に1日にわずか6ドルしか支払っていないとも、過酷な条件での労働を強いているとも報道されている。EFFのパイオニア賞を受賞したサラ・T・ロバーツ氏をはじめとする研究者たちはこの数年、こうした作業が労働者にいかに有害かを指摘してきた。

また、企業は人間のモデレータをAIに置き換えることで、少なくとも1つの問題（1日中、残虐な画像を見続けることによる心理的影響）を解決しようとしているが、それが新たな問題を引き起こす可能性もある。

2. 一貫性がなく、混乱したコンテンツ・モデレーション

まず、リソースについて説明しよう。FacebookやYouTubeなどの企業は、コンテンツ・モデレーションに膨大なリソースを投入している。数千人の従業員を雇用し、高度な自動化ツールを使用して、望ましくないコンテンツにフラグを付けたり、削除したりしている。しかし、1つはっきりしているのは、コンテンツ・モデレーションに割り当てられるリソースはバランスを欠いているということだ。著作権侵害の監視が最優先事項であり、自動システムはヘイトスピーチよりも乳首の検出に優れており、有害（と思われる）表現よりも、女性の身体の監視を重視しているとユーザから不満の声が上がっている。

しかし、こうしたモデレーション・システムは本質的な矛盾を抱えている。主にコミュニティによる取り締まり――つまり、ユーザによる別のユーザのコミュニティスタンダード違反の通報――に依存しているため、一部のユーザが他のユーザよりも大きく影響を受けることになるのだ。プロフィールを公開し、多数のフォロワーを持つユーザは、さほど人気のないユーザよりも数字上は通報されやすい。また、あるプラットフォームが特定の著名人を排除すれば、他の企業が追随するドミノ効果を生むこともある。

問題なのは、企業のコミュニティスタンダードには、公人を対象にした例外が存在することだ。米国大統領が、一般のユーザには決して許されないヘイトツイートをしてもお咎めがないのはそのためである。そのようなポリシーには一定の意義はあるものの（自らが選出した政治家が何を発言しているのかを知る必要がある）、ある種の言論は、権威ある人に話されたときのほうがより大きな影響力を持つ。

最後に、世論の圧力によって新たな「脅威」に迅速に対応せざるを得なくなると、企業は過剰反応する傾向がある。たとえば、性的人身売買を阻止することを目的としたFOSTAという法律は、その文言の曖昧さから、企業による検閲と混乱を引き起こした。この法律の成立直後、Facebookは性的勧誘に関するポリシーを策定したが、これはトロール（荒らし）に新たな武器を与えることにもなった。また、同社はミャンマーで問題となっている暴力に対処するため、虚偽情報対策を含む社内マニュアルを策定している。一部の人々が企業に対して強い影響力を持っていることは明らかだ。シリコンバレー企業は、アジアやアフリカの国々よりも、米議会や欧州議会からの要請に耳を傾ける。メディアや政府、その他有力者にすり寄ることで、テクノロジー企業は強者をさらに強化することになる。

3. コンテンツ・モデレーションの判断は、ユーザや従業員に現実の危害を及ぼす

企業が望ましくないコンテンツをモデレーションしようとする場合、すでに弱い立場にある集団に不相当な悪影響を及ぼすことが非常に多い。たとえば、ホモフォビア（同性愛嫌悪）やトランスフォビアの議論を根絶しようとする企業の試みを例にとろう。一見すると崇高な目的に見えるが、そうしたポリシーが実施された結果、LGBTユーザがカウンタースピーチや、あえて用いた「dyke」（訳註：レズビアンの蔑称）などの言葉により検閲される事態がもたらされている。

同様に、Facebookのヘイトスピーチ削除の取り組みは、自分に投げかけられたヘイトスピーチの内容について共有し、レイシズムを非難した人物にも影響を及ぼした。ワシントン・ポストの記事では次のように述べられている。「さらに厄介なことに、Facebookはしばしば、何の説明もなく、投稿を検閲し、24時間以上に渡ってアカウントをロックしている。こうした懲罰は活動家たちの間で『Facebook監獄』と呼ばれている」。

コンテンツ・モデレーションは、ビジネスに悪影響を及ぼすこともある。最近では中小企業も大企業も、ソーシャルメディア広告を活用しているが、厳格なコンテンツルールは特定のビジネスに著しく影響を与えることになる。Facebookは、同社が「過度に示唆的であるか、性的に挑発的」とみなした広告を禁止しており、その結果、女性のヘルスケアスタートアップやブラジャーメーカー、「子宮」という単語が含まれた書籍、さらには「ティーンの無計画な妊娠防止運動」にさえ、萎縮効果をもたらしている。

4. 異議申し立ては機能せず、透明性は最小限

長年に渡り、ユーザがモデレーションの決定に異議を申し立てようにも、企業内部の人間にアクセスする以外に有効な選択肢はほとんどなかった。その結果、著名人や、デジタル権利団体／メディアの助けを借りられた人々は、なんとかコンテンツを復旧することができたが、そうでない人々は放置され続けている。

だが近年、複数の企業が異議申し立て手続きを大幅に改善している。たとえばFacebookは昨年、異議申し立て手続きを拡大している。しかし、多くのプラットフォームのユーザが、異議申し立ての結果の説明が不十分、回答がないなどの不満を訴えている。また、一部の企業が巧妙な取り締まりメカニズムを導入したことで、モデレーション判断に有効な異議申し立てができない状況も生まれている。

昨年、我々は複数の組織や識者らとともに、コンテンツ・モデレーションにおける透明性と説明責任に関するサンタクララ原則を公表した。これは、企業はコンテンツの制限に際して、ユーザに確実な異議申し立て手続きを提供するとともに、通知を受け取ることを保証し、制限される表現とその制限方法に関する透明性を提供しなくてはならない、というものだ。

現在のコンテンツ・モデレーション・システムを考えれば、すべての企業が採用すべき原則である。しかし、この原則はあくまでもスタートラインに過ぎない。

呪術的思考はもう止めよう

政治的理由のみならず、現実的な理由からも、シリコンバレーやそれ以外の何者かに、国際的な言論警察の役割を期待すべきではない。コンテンツ・モデレーションを正しく実施することは極めて困難であり、その規模を考えれば不可能な場合すらありえる。どのような検閲システムであれ、間違いは避けられない。従業員を保護するハーム・リダクションの一環として、フラグやコンテンツ・モデレーションに人工知能を採用する企業が増えているが、必然的に間違いを増やすことに繋がる。その代りに異議申し立てプロセスの強化するという考え方もできるが、それは十分な救済にはなりえない。

活動家、企業、政治家、そしてユーザは選択を迫られている。壊れたシステムをテコ入れして強化するか、それとも作り直すか――後者を選択するのであれば、以下に推奨事項を列挙しておこう。

• 検閲は稀で、正当化されなくてはならない（特にテクノロジー大手が実施する場合は） 少なくとも、(1) あるカテゴリの言論を禁止する前に、政治家や企業は、そのカテゴリを例外的に禁止する理由を説明し、その境界を定める規則を明確かつ予測可能にしなくてはならない。言論に対する制限は、必要かつ比例したものでなくてはならない。先日のニュージーランドの銃撃事件の直後に見られたような緊急的削除は、厳格に定義され、本当の緊急事態にのみ適用されなくてはならない。(2) コンテンツにコミュニティスタンダード違反のフラグが立てられた場合、企業はユーザに通知し、コンテンツが削除される前に異議申し立ての機会を与えなくてはならない。異議申し立てを選択した場合には、問題が解決されるまで、コンテンツを公開したままにすべきである。(3) 特定コミュニティに特化した小規模プラットフォームは、より積極的なアプローチを望むかもしれない。その場合でも、インターネットユーザにさまざまな選択肢が提供されているのであれば問題はない。
• 一貫性 企業は人権規範に則して自社ポリシーを策定しなくてはならない。意見・表現の自由の促進と保護に関する国連特別報告者のディヴィッド・ケイ氏は、昨年公表した報告書の中で、企業に対し、「人権法に沿ったかたちで、自由な意見・表現の表明や、あらゆる情報へのアクセス」をユーザに認めるポリシーを採用するよう推奨している。
• ツール すべてのユーザがあらゆるコンテンツを歓迎するわけではない。そのため、ユーザが表示内容をコントロールできるよう個別化されたツールを提供しなくてはならない。たとえば、合意に基づく成人のヌードコンテンツを完全に禁止するのではなく、ユーザ自身が設定オプションでオン／オフを切り替えられるようにする、というように。また、ユーザが自分の設定をコミュニティと共有し、自分のフィードに適用できるようにするのもいいだろう。
• エビデンスに基づくポリシーの策定 ポリシーの策定者は、政治的圧力に屈することなく、事実に基づかない運用には慎重にならなくてはならない。たとえば、ソーシャルメディア上に虚偽情報が急速に拡散しているが、企業が圧力を受けて策定したポリシーの多くはほとんど効果が見られていない。企業は研究者や専門家と協力して、より適切な対策を講じるべきである。

何かをしなくてはいけないと認識するのは容易だ。AIに助けを求めるのも容易である。だが、実際のコンテンツモデレーションは極めて困難である。それを軽視するような主張は、疑ってかかるべきだ。

Content Moderation is Broken. Let Us Count the Ways. | Electronic Frontier Foundation