プライベートを詮索し、冤罪で通報し、疑いが晴れてなおユーザを罰するGoogle――それを後押しする世界的潮流

Electronic Frontier Foundation

インターネットユーザのプライベートなメッセージやファイル、日常の写真などがテック企業によって検査され、そのデータを政府のデータベースと照合する事案が増えてきている。今に始まったことではないが、あらゆるオンライン活動を大規模にスキャンして、警察が児童性的虐待画像（CSAM）に関連した犯罪を効率的に捜査できるようにすべきだという声も高まってきている。

一方、市民の側は自分たちがどのように監視されているのかをほとんど知らない。スキャンを実施するテック企業も、彼らが協力する政府機関も、その仕組みの詳細を明らかにしていないためだ。だが、スキャンが完璧とは程遠いものであることは明らかである。スキャンは間違いを含み、その間違いによって児童虐待の冤罪が生み出されることもある。そのような冤罪がどれほどの頻度で起こるのか、それによってどれだけの人が被害を被るのか、それすら我々は知らない。

CSAMの拡散は実際の被害を生み出し、テック企業はCSAMに対処するための新たな手法を必要としている。そこで我々は、改良された通報ツールの構築、プライバシーを尊重した警告メッセージ、メタデータ分析など、さまざまな手法を提案してきた。

昨日ニューヨーク・タイムズに掲載された記事では、Googleによる2件の間違った通報と警察による捜査について報じられている。記事では、Googleが誤判定によって生じた損害の回復を拒否していること、同社の人間による審査プロセスが破綻していることも強調されている。この種のスキャンは、我々が使用するテクノロジー製品にますます組み込まれるようになった。さらに世界中の政府が、監視の範囲を拡大し、最もプライベートな暗号化メッセージでさえも監視すべきだと言い出している。この記事は、Googleの誤判定が2人のユーザにおよぼした被害について伝えるだけでなく、こうした誤判定が今後も数多く発生であろうことも警告している。

GoogleのAIシステムが誤判定、目視でも誤判定

昨年2月、Googleのアルゴリズムは、2つの州の2人の父親が撮影した写真を児童虐待の画像であると誤って判定した。サンフランシスコとヒューストンの父親の小さな子どもが性器に感染症を患い、医師の指示に従ってその部位を撮影していたのである。

だが、Googleのアルゴリズムも、それを管理する従業員も、この写真にまったく異なる解釈をした。Googleは、いずれの親にも通知することなく、写真を政府に通報した。その結果、地元警察が2人の父親の捜査を開始した。

さらに、同社は独自に調査を実施した。サンフランシスコの父親であるマークの場合、Googleの従業員は勘違いAIがフラグを立てた写真だけでなく、彼の家族や友人の写真コレクションをすべて閲覧した。

ヒューストン警察もサンフランシスコ警察も、父親たちは潔白であるという結論に至った。だがGoogleは、「犯罪性はない」と判断したことを示すサンフランシスコ警察の文書を突きつけても、マークの訴えに耳を傾けることはなく、アカウントの復旧も拒絶した。驚くべきことに、ニューヨーク・タイムズがGoogleにコンタクトし、判断の誤りを把握した後にも、Googleはマークのアカウントの復旧も、データのエクスポートの手助けすら拒否し続けている。

Googleの冤罪通報がもたらした実害

Googleには、どのユーザを受け入れたいかを決める権利がある。だが、これらのケースでは、Googleのアルゴリズムの誤判定と、人間（Google従業員）の審査プロセスの間違いのせいで、無実の人が警察の捜査対象になったのである。また、父親たちのメールアドレス、ビデオ、写真、一方のケースでは電話サービスまで、警告も正当な手続きもなく破壊したのは、紛れもなくGoogle自身である。同社の間違いがもたらした結果は決して些細なものではない。

Googleから児童虐待の罪で冤罪通報された人がどれだけいるかはわからないが、今回明らかになった2人だけではないだろう。Googleがスキャンするコンテンツの範囲を考えれば、数百人、数千人にも及ぶかもしれない。

マークと（訳注：Googleに冤罪通報されたもう1人の）カシオは、2021年2月に1日違いで通報されていた。これは偶然かもしれないが、Googleのシステムの欠陥（AIソフトウェアの欠陥、あるいは人間の審査プロセスの欠陥）がその時期に顕在化した可能性もある。

欠陥を抱えたGoogleのCSAMスキャンは、上記の事件で実際の被害を引き起こしたが、他のケースではさらに大きな被害をもたらす可能性もある。Googleの従業員と警察の双方が、通報された親のファイルを徹底的に調べた結果、CSAMとは無関係な犯罪の証拠を見つけるということもありうる。警察が薬物使用などの犯罪行為の証拠を発見すれば、そもそも容疑すら特定していなかった犯罪について親を罰しようとするかもしれない。また、マークとカシオがそうであったように、Google自身も独自にユーザを罰しようとするかもしれない。

彼らに起こったこととは裏腹に、マークもカシオも、この事件について記者に話さねばならないと強く感じたという。だが、こうしたシステムによる冤罪通報は、弱い立場にあるマイノリティ――たとえば警察や地域コミュニティから阻害されているLGBTの親――がその被害に合う可能性もある。

Googleのシステムは、独裁国家や警察が腐敗した地域でも、親を誤って当局に通報するおそれがある。そのような地域では、誤って通報された親が適切なデュープロセスを保証されているわけではない。

無責任なCSAMスキャンを求める政府

こうしたスキャンを実施する企業はGoogleだけではない。だが、こうしたスキャンがまったく正確ではないことを示す証拠が蓄積されている。FacebookがCSAMの疑いで当局に通報した150のアカウントを調査したところ、75％のアカウントが「悪意のない」画像を「怒りや下手な冗談」などの理由で送信していたことが明らかになっている。また、LinkedInは2021年下半期、スキャンによりファイルが既知のCSAMと一致したとして75件のアカウントをEU当局に報告した。だが人間が確認したところ、既知のCSAMと関連していたのは31件だけだった（LinkedInは、EARN IT法案の米国スポンサーが特に推奨するソフトウェア製品「PhotoDNA」を使用している）。

ここ数年、各国政府がこうしたスキャンを推進する動きが加速している。昨年には、Appleがユーザの写真をスキャンし、一致した場合に当局に通報するオンデバイス・スキャンをすべてのデバイスに導入することを発表した。このプログラムは世論の反発を受けて中止されている。米国では今年、上院司法委員会がEARN IT法案が審議・可決した（EARN IT法案は両院とも議場での審議には至っていない）。欧州連合も、新たなCSAM検出法を検討している。EUの提案では、既知・新規の虐待画像の検出だけでなく、「グルーミング」を検出するためにAIを使ってテキストメッセージをスキャンし、将来起こりうる虐待を未然に防ぐよう提案されている。

今月始め、欧州委員のイルヴァ・ヨハンソンはブログで、彼らが提案するスキャンの精度は「90％を大幅に超える」と断言した。また、「グルーミング」の検出も「人間の審査前」の段階で88％の精度があると誇らしげに語っている。

この程度の精度では、決して威張れるものではない。EU域内の数十億のプライベートメッセージを「90％以上」の精度でスキャンすれば、数百万のメッセージに間違ったフラグが立てられることになるのだ。この誤判定の雪崩は、法の支配がある裕福な民主主義国家でさえ、人道的惨事を引き起こすだろう。ましてや独裁国家や民主主義が後退しつつある国家も、同様のシステムを要求するようになるのだ。こうしたシステムを擁護する人たちの中には、CSAM被害の深刻さを考えれば、（上記記事にあるような冤罪につながりうる）誤検出のような巻き添え被害は容認できると主張する者もいる。

だが、我々が受け入れるよう求められているのは、「ポケットの中の虫（スパイ）」に他ならない。政府はGoogleやAppleなどの企業に、我々のプライベート空間を含め、あらゆるデジタル空間を常にスキャンするよう求めている。それがもたらすのは、Googleのような企業が自らのユーザの家庭生活を詮索し、さらには警察から犯罪性がないと言われてもああだこうだと言い訳を繰り返すという、まさにいま目の当たりにしているものなのだろう。

真のプライバシーこそソリューションである

EFFは30年以上にわたり、デジタル生活の監視に反対してきた。警察が我々のプライベートなメッセージやファイルを閲覧したいなら、憲法修正第4条に従って令状を取得しなくてはならない。それだけだ。

民間企業は、我々のプライベートなコンテンツを閲覧する必要性と権限をできる限り制限しなくてはならない。友人や家族、医療関係者とのプライベートな会話は、エンドツーエンド暗号化で保護されねばならない。エンドツーエンド暗号化されたシステムであれば、サービスプロバイダがメッセージを閲覧しようとしてもできないのだから。また、企業は暗号化されたバックアップも約束すべきである。これはEFFが以前から要求してきたことだ。

より良いインターネットへの答えは、最高のスキャンソフトウェアを開発することではない。AIに人間のメッセージをスキャンさせて犯罪者を発見しつつ、人権を保護するなどという都合のいい方法は存在しない。真の答えは、我々の目の前にある。法執行機関と選挙で選ばれたリーダーが、強力な暗号化とプライバシーの破壊ではなく、共存の道を模索することだ。

Google’s Scans of Private Photos Led to False Accusations of Child Abuse | Electronic Frontier Foundation