アルゴリズムによる意思決定がもたらす「差別の自動化」：EFF 2024 in Review

Electronic Frontier Foundation

EFFは長年にわたり、アルゴリズムによる意思決定（ADM）技術に警鐘を鳴らし続けてきた。ADMは、データと事前に定義されたルールやモデルを使用して、人間の関与を最小限に抑えながら意思決定を行う、もしくは支援するものだ。2024年は、大家や雇用主、規制当局、警察が新たなツールを採用し、医療や住宅といった生活必需品へのアクセスや個人の自由に影響を及ぼす可能性のある問題として、かつてないほど注目を集めた一年となった。

今年、我々は詳細なレポートを作成し、米国および各国政府にコメントを提出し、ADMが人権、とりわけ公平性と適正手続きの観点から重大なリスクをはらむことを指摘している。複雑な文脈でADMを実現する機械学習アルゴリズムは、既存のデータセットから見出したパターンを再現しようと試みる。警察による逮捕歴や、過去の健康保険の承認実績といったそもそもバイアスがかかったデータセットで学習させれば、歴史的な不正義を自動化するシステムが生まれることは避けられない。さらに、これらの技術は判断の理由を説明できない（そして通常は説明することができない）ため、その判断に異議を申し立てることは極めて困難である。

意思決定者はADMに言われるがままに従う傾向があり、また自身の偏見を正当化するための隠れ蓑として利用しがちである。さらに、政府関係者による意思決定に影響を及ぼす重大な問題であるにもかかわらず、ADMの採用は新しいプリンタを買うような単なる「調達」の問題として扱われ、本来なら必要なはずの規則変更に伴う市民参加の機会が失われている。これは必然的に、社会的弱者が被害を受けるリスクを高め、十分な検証のないまま技術が導入される事態を招いている。行政のプロセスや世界の諸現象を分析する機械学習には意義のある用途もあるだろう。しかし、人々に関する意思決定をこの技術に委ねることは最悪の選択の一つだ。既存の不正義を固定化し、発見すら困難な新たなエラーを生み出すことで、人々の人生を台無しにしかねない。

ADMのベンダーたちはAIバブルに便乗し、警察、国境管理当局、諜報機関は説明責任を果たすことを一層困難にするだけの未実証の製品に、納税者の金を惜しみなく投じている。我々は、ボディカム映像の音声を基に警察の報告書を作成する生成AIの使用について論じ、AIの国家安全保障での使用が透明性を脅かすことを指摘し、移民関連の判断におけるAI使用の中止を訴えてきた。

民間セクターもまた、雇用、住宅、医療などへのアクセスに関する判断にADMを導入している。こうした場面でのAI使用に多くの米国人が不快感を示しているように、人々はこれがもたらすリスクを部分的にであれ、直感的に理解している。企業は人員を削減し、残された労働者に判断を迅速化するための怪しげなADMツールの導入を迫ることで手っ取り早い利益を追求しているが、謳い文句の生産性向上は実現していないことが日に日に明らかになってきている。

ただし、ADMには市民の権利を侵害する差別的な判断が発覚するのを防ぐ効果はあるようだ――これこそが、私たちがADMを使用した違法な民間差別を防止する仕組みを支持する理由の一つである。さらに付け加えれば、AIへの過剰な期待とADMの魅力は、ますます多くのユーザデータの収集と収益化を促し、オンラインのプライバシー侵害を助長している。私たちがこれらの技術の有害な応用に対してプライバシーファーストのアプローチを訴え続ける理由の一つはここにある。

EFFのAIに関するポッドキャストエピソードでは、AIがもたらす課題と、人権や福祉、環境を損なわない形での肯定的な活用の可能性について議論を展開した。しかし、劇的な変化が起きない限り、人間に関する意思決定にAIを用いることは、残念ながら得られる利益をはるかに上回る害をもたらし続けるだろう。

本稿は、我々EFFの「Year in Review」シリーズの一部である。2024年のデジタルライツをめぐる戦いに関する他の記事はこちら。

Fighting Automated Oppression: 2024 in Review | Electronic Frontier Foundation