プラットフォームに「存在を消される」ということ

Pluralistic

最新のLocus Magazineのコラム「Unpersoned」では、重要インフラを無責任なビッグテック企業の手に委ねることの影響について論じた。

https://locusmag.com/2024/07/cory-doctorow-unpersoned/

このコラムは、マデリーン・アシュビーがWiredで伝えたロマンス小説家、K・レニーの物語から始まる。

https://www.wired.com/story/what-happens-when-a-romance-author-gets-locked-out-of-google-docs

レニーは多作な作家で、小説をGoogle Docsで執筆し、フィードバックや修正のために先行読者と共有していた。昨年3月、レニーのGoogleアカウントがロックされ、10作品の未完成原稿（合計22万語以上）にアクセスできなくなった。悪名高く不透明なGoogleの顧客サービス（形骸化したサポートフォーラム、AIチャットボット、責任転嫁する下請け業者の合せ技）は、彼女がどのルールに違反したのかも説明せず、ただ彼女の作品が「不適切」と判断されたとだけ伝えた。

レニーは標的にされたのが自分だけではないことを知った。多くの仲間も同様にアカウントを凍結され、文書をロックされ、Googleから十分な説明を受けていなかった。レニーと同様の状況に置かれたGoogle追放の被害者たちは、Googleの囲い込まれた庭園から追放された理由を推測するしかなかった。レニーは、執筆中の本に初期読者のコミュニティをアクセスさせたことで、スパム対策システムを作動させてしまったのではないかと考えるようになった。

通常、こういった話にはお決まりの展開がある。アシュビーのような記者がWiredのような人気メディアで記事を書くと、大手プラットフォームのカフカ的システムの決定を覆せるお偉いさんの再検討し、その結果、被害者のデータは復旧され、企業は何かしらを「非常に真摯に受け止めている」などと空虚な言葉を並べる。

しかし今回、Googleはこのシナリオ通りには動かなかった。アシュビーがレニーの状況をGoogleに問い合わせると、Googleの広報担当者ジェニー・トムソンは、Googleアカウントのポリシーは「明確」だと主張した。「我々はポリシーに違反するコンテンツを精査し、対応する可能性がある」。レニーが不当にフラグを立てられたと考えるなら、「異議申し立てを要求できる」。

しかし、レニーは自分がどのポリシーに違反したとされているのかさえ分からない。結局、「異議申し立て」も何の成果も得られなかった。

これは「サービスとしてのソフトウェア」や「クラウド」の見過ごされがちな側面である。MicrosoftからAdobe、Googleに至るまで、自分のコンピュータで動作し、そのコンピュータにファイルを保存するソフトウェアという選択肢が失われるにつれ、我々が我々自身の生活をコントロールする術が静かに失われている。確かに、すべての法的文書をデジタルスキャンし、暗号化してGDriveに保存しておけば、火事で焼失する心配はない。しかし、Googleの下請け業者が書かれてもいないルールに違反したと判断すれば、異議申し立てや救済の余地なく、それらの文書へのアクセスを永遠に失いかねない。

コロナ禍のロックダウンの最中、息子が尿路感染症にかかったサンフランシスコのテックワーカー「マーク」も同様の事態に見舞われた。マークが遠隔で小児科医に受診すると、感染した性器の写真を撮り、セキュアな医療アプリ経由で診療所に送信するよう指示された。しかし、マークのスマートフォンはすべての写真をGoogle Photosに同期するよう（デフォルトで）設定されており、マークの息子の性器の写真がGoogleのクラウドに到達すると、自動的にスキャンされ、児童性的虐待素材（CSAM、いわゆる「児童ポルノ」）としてフラグが立てられた。

https://pluralistic.net/2022/08/22/allopathic-risk/#snitches-get-stitches

Googleはマークに連絡することなく、彼のすべてのデータ（検索、メール、写真、クラウドファイル、位置情報履歴など）のコピーをサンフランシスコ警察に送信し、その後アカウントを凍結した。マークは電話番号（Google Fiに加入していた）、メールアーカイブ、GDriveに保存していた家庭用および仕事用のファイル、保存されたパスワード、Google認証システムを介した二段階認証、そして幼い息子の写真すべてを失った。

サンフランシスコ警察はマークが無実であると結論づけたが、時すでに遅し。Googleはマークの全データを永久に消去していた。サンフランシスコ警察は、マークにメールも電話もできず、彼の無実を伝えるために、手紙を郵送しなければならなかった。

このような目に遭ったのはマークだけではない。New York Timesでマークについて書いたカシミール・ヒルは、「カシオ」というヒューストンの父親をはじめ、他の親たちも同様にアカウントを失い、現代生活の基盤が奪われたことを伝えている。

https://www.nytimes.com/2022/08/21/technology/google-surveillance-toddler-photo.html

注目すべきは、これらいずれのケースのにおいても、有償でサービスを受けていたことだ。彼らは製品に対価を支払っていなかったから製品扱いされたのではない。800ドルのPixel電話を購入し、Google Driveアカウントに年間100ドル以上を支払い、製品の対価を支払ったにも関わらず、それでも製品として扱われ続けたのだ。

このような状況に対して、我々は何ができるだろうか。一つの答えは、プラットフォームに対し、詐欺や児童ポルノ取引、テロ攻撃の計画に関与している可能性があると判断したユーザにも、引き続きサービスを提供することを義務づけることだ。もちろん、そんな解決策は好ましいとは思えない。

あるいは、巨大プラットフォームでの意思決定プロセスを改善し、マグロ漁の網にイルカが引っかからないようにするのはどうだろう。コンテンツモデレーションの異議申し立ての「第一波」は、不当な扱いを受けたユーザが異議申し立てできる監督・審査委員会の設立を重視した。これは、コンテンツモデレーションの決定の難しい側面を明確にする「パラダイムケース」を確立する考えだった。例えば、ナチの残虐行為の動画をアップロードして批判することが、残虐行為の描写やナチの象徴物の表示を禁止するルールに違反するかどうかといった問題だ。

だが、これはあまりうまくいっていない。プラットフォームにおける半独立的な従業員による「第二波」のモデレーション監督提案も、モデレーションの判断や苦情に関する統計を収集・報告するものだったが、具体化していない。

https://pluralistic.net/2022/03/12/move-slow-and-fix-things/#second-wave

EUとカリフォルニア州は、ユーザがプラットフォームからデータを取り戻すことを要求できるプライバシールールを定めているが、これも重大なポリシー違反によりアカウントを凍結されるというケースには該当しそうにない。その理由は想像に難くない。誰かが児童ポルノ取引や詐欺に関与していると告発されたのなら、そのアカウントを凍結しつつ、犯罪の継続に必要なデータをすべて提供するのは不自然だ。

しかし、EUのGDPRやカリフォルニア州のCCPAに基づいてデータを取得できるとしても、プラットフォームは可能な限り使いづらく、複雑な形でデータを提供する。たとえば、最近私はCCPAに基づきMailchimpが保有する私のすべてのデータを提供させた。Mailchimp（独占企業で常習的な詐欺師、Intuitの一部門）は、スパマーが好むプラットフォームで、私は何千ものMailchimpリストに追加され、大量に送りつけられる迷惑な報道発表メールや詐欺商品の勧誘メールにうんざりさせられている。

Mailchimpはこの10年間、ユーザが追加されたメーリングリストを確認させろという要求を無視し続けてきた。もちろん、この要求が実現すれば、Mailchimpは大量退会に直面することになるだろう（Mailchimpにとって、簡単に退会できないのはバグではなく機能である。その機能があるからこそ、スパマーはMailchimpに金を払うのだ）。CCPAのおかげで、ようやくそのリストを確認できると思ったが、Mailchimpはリストではなく5900以上のファイルを送りつけてきた。その中に私の名前が追加されたリストの内部シリアル番号が散らばっていたが、リストの名前もオーナーの連絡先もなかった。1000以上のメーリングリストに登録されていることは分かったが、わかったのはそれだけだ。

Mailchimpは、プラットフォームにデータダンプの提供を義務づける規則がどれほど容易に骨抜きにされるかを体現している。これこそが、10年にわたるEUの政策がビッグテックプラットフォームの市場支配力に無力であった理由でもある。

EUはこの問題への新しい解決策を打ち出した。2024年のデジタル市場法（DMA）では、EUはプラットフォームにAPI（ライバルがサービスに接続するためのプログラム的な方法）の提供を義務づけた。このDMAによって、ついに携帯電話業界の「番号ポータビリティ」と同様の仕組みが他の分野のプラットフォームでも実現するかもしれない。

携帯電話のプラットフォームを変更したことがあれば、それがいかにスムーズであるかを知っているだろう。キャリアに嫌気がさしたら、新しいキャリアでアカウントを設定してワンタイムコードを取得する。そして旧キャリアに電話をかけ、乗り換えないでくれと哀願する彼らの声を聞き流して、そのコードを伝える。すると短時間（時には数分）で、古い電話番号をそのままに、携帯電話は新しいキャリアのネットワーク上で動作するようになる。

このような仕組みは、犯罪者のような望ましくないと判断されたユーザへのサービス提供をプラットフォームに強制するよりもずっと良い。だが、プラットフォームはこれを嫌がる。彼らは「詐欺の疑いのあるユーザのアドレス帳をライバルサービスに移行させるのは、詐欺への加担だ」と口では言うが、彼らが反対する本当の理由は、ライバルに簡単に乗り換えられるようになってほしくないからだ。

プラットフォームの立場は、表面的には合理性に見えるかもしれない。だが、マークやK・レニー、あるいはプラットフォームによって説明や異議申し立ての機会もなく存在を消された人々のことを考えれば、口先だけの言い訳にすぎないことは明らかだ。

プラットフォームは、現代生活に彼らのアカウントを必須化しておきながら、同時にユーザをシステムから一方的に追放できるようにしている。どんな企業であれ、この2つの力を同時に持ち合わせるべきではない。そしてビッグテックは、このような力を行使する資格がないことを何度も証明してきた。

今週、私は会計士たちとの議論に負けた。彼らは私の税務書類をMicrosoft Cloudに上げ、そのリンクをよこしてきた。そのファイルを取得するにはMicrosoftのログインが必要だ。このポリシー（および電子メールに顧客ファイルの添付を禁止すること）は彼らのITチームの要請で、それも元を辿れば保険会社から課された要件への対応だった。

ここでの問題は、納税ためにMicrosoftと契約関係を結ばなければならないことだけではないし、Microsoftの利用規約が酷いものであることだけでもない。あるいは、彼らがいつでもその条件を変更できること（例えば私の機密性の高い税務書類を大規模言語モデルのトレーニングに取り込むことができること）だけでもない。

問題は、Microsoft（そしてGoogle、Apple、Facebook、その他の巨人たち）が、説明できない理由で定期的にユーザを切り捨て、有効な異議申し立ての機会を提供しないことだ。Microsoftは企業顧客に「コミュニケーションのセキュリティを維持するために、クライアントにMicrosoftアカウントの取得を強制しろ」と言いながら、同時にクライアントをMicrosoftアカウントから一方的に追放する権利を留保しているのだ。

これに似た例はいたるところにある。Googleは最近、GoogleアカウントにログインしていないとGoogle Formを完了できないようにした。今や、重要なものからささいなものまで、あらゆる事柄を追求する私の能力は、突然かつ恣意的に変化するGoogleの善意に左右されることになった。もし私がマークのようにGoogleから永久追放されていたら、今週、会議主催者に自分のTシャツのサイズを伝えるGoogle Formを送信することも、友人の結婚式に出席できると伝えることもできなかっただろう。

確かに、デジタル生活からロックアウトされるべき人々も本当にいるかもしれない。児童ポルノを取引する人々はクラウドからロックアウトされるべきだろう。しかし、その決定を下すべき主体は裁判所であって、ビッグテックのコンテンツモデレータではない。プラットフォームがあなたのビジネスを望まないと決めるのは構わないが、誰もあなたにサービスを提供できないと決めるのはプラットフォームの役割ではない。

これは特に、先週のCrowdstrikeの破滅的なソフトウェアアップデートによって引き起こされた混乱に照らして重要だ。Crowdstrikeは、クラウドプロバイダが誤ってユーザのアカウントを停止した場合に何が起こるかを示す事例でもあるが、そのような事故の可能性を減らすことを考えているのと同時に、意図的にCrowdstrike攻撃を受けた場合に何が起こるかについても考えるべきだ。

先週、Windowsユーザとその顧客、従業員、ユーザ、利害関係者が経験した大規模な混乱は、もっと小規模にも起こり得るものだ。たとえば（米国の裁判所または外国の裁判所による）ユーザ接続の遮断および/またはコンピュータを使用不能にする裁判所命令かもしれないし、恨みを抱いた従業員や犯罪者、外国政府から金銭を受け取った従業員による内部攻撃かもしれない。さらには、世界中の誰かにブルースクリーン・オブ・デスを与える能力は、バグではなく機能かもしれないのだ。

企業がサディスティックなのではない。彼らが我々を不当に扱うのは、個人的な感情からではない。適切な手続きにかかるコストが我々のビジネス価値を上回るという計算ゆえだ。我々が競合他社に乗り換えられず、訴訟を起こせす、ライバルのテック企業がプラットフォームから我々のデータを抜き出すツールを提供できないことを知っていれば、我々を虐げることで被る予想コストは下がる。それゆえ、我々にますます過酷な条件を課し、ますます些細な収入源を追及することが経済的に合理的となる。スイッチングコストが支払い難いほどに高くなれば、我々が限界点に達して離脱するギリギリ寸前まで、料金を上乗せし、品質を下げ、詐欺を働き、搾取し、メタクソ化することは、（訳注：株主への）信認義務となるのだ。

Googleはアカウント凍結に関するすべてのクレームを慎重に検討する優秀な意思決定者を雇用できる。だが、その熟練した労働力を大規模に雇用するコストは、マークのようなユーザからの期待生涯収益を大きく上回る。それがマークの人生を台なしにする結果となっても、それはマークの問題なのであって、Googleの問題ではない。

クラウドには多くの側面があるが、何よりそれは罠だ。ソフトウェアがサービスとして提供され、データとそれを読み書きするプログラムが自分の管理下にないコンピュータ上に存在すると、スイッチングコストは急激に上昇する。Adobeを考えてみよう。彼らはもはやプログラムの購入を一切許さず、クラウドを介してソフトウェアを実行するよう求めている。そして、あなたが依存するツールを所有していないという事実を利用して、Pantoneカラーマッチング・ライセンスをキャンセルした。ある日、世界中のAdobeユーザが目を覚ますと、キャリアを通じて育ててきたファイルコレクションがすべて黒に変わり、追加料金を支払うまで黒のままであることを知った。

https://pluralistic.net/2022/10/28/fade-to-black/#trust-the-process

クラウドは、あなたが依存する製品の企業が、それらの製品の機能とコストを一方的に変更することを可能にする。（法的リスクを負わずにリバースエンジニアリングも修正もできない）モバイルアプリと同様に、クラウドアプリはメタクソ化のために、つまりユーザからソフトウェア企業へと力を移行させるように設計されているのだ。アプリは、広告ブロッカーの追加が重罪となるようIPのベールをまとったウェブページに過ぎない。クラウドアプリは、企業が追加料金を設定した古い機能を復元すると重罪となるよう利用規約で包まれたJavaScriptに過ぎない。

GoogleがK・レニーやマーク、カシオを追放したのは偶然だったのかもしれないが、Googleが我々全員を追放する力、そしてGoogleにそうされた場合に我々負う莫大なコストは、システムに巧妙に組み込まれたものだ。Apple、Microsoft、Adobe、そして我々をロックインする他の企業にも同じことが言える。Crowdstrikeの大惨事から学ぶべき教訓は、単に我々のITシステムが脆く、単一障害点だらけだということだけではない。これらの障害点は意図的に引き起こすことも可能であり、そうすることが、あなたや私にとってどれほど破滅的であろうと、企業の最善の利益になり得るということだ。

(Image: Cryteria, CC BY 3.0, modified)

Pluralistic: Unpersoned (22 Jul 2024) – Pluralistic: Daily links from Cory Doctorow