以下の文章は、コリイ・ドクトロウの「AI’s “human in the loop” isn’t」という記事を翻訳したものである。
AIが重要な意思決定を行う、あるいは意思決定を支援する能力には問題がある。しばしばAIは、人間のリソースの限界を超えるスピードと規模で、優れた精度で物事を分類する。その一方で、時として極めて深刻な間違いを犯し、取り返しのつかない事態を招くこともある。
官僚機構と、彼らにAIを売り込もうとするセールスマンたちは、労働集約的なプロセスをアルゴリズムで自動化することで、大幅にコスト削減できると期待に胸を膨らませている。比較的リスクが低く、導入の判断が容易なケースもある。たとえば先日、ブリュースター・ケールは、図書館から廃棄される予定の大量のマイクロフィルム化されたジャーナルをスキャンするInternet Archiveのプロジェクトについて語った。高解像度スキャナーでフィルム上の各ページの位置を自動検出し、OCRでテキストを読み取るのは比較的容易な作業ではあるが、各ジャーナルの最初と最後のページをマークし、目次を特定してスキャンしたページとの索引付けを行うには、人間が全ページを確認しなければならなかった。この手の作業はまさにAIの得意とするところで、Internet Archiveのスタッフは無限に続くページをスクロールする代わりに、AIが特定した最初/最後/索引ページが正しいかどうかを確認するだけでよくなった。何年もかかるはずだったプロジェクトが、驚くべきスピードで進行している。
このように、人間がAIの判断を評価し、必要に応じて修正を加える仕組みは「人間による監視(human in the loop)」と呼ばれている。これは、アルゴリズムの誤作動やバイアス、予期せぬエラーへの対策として魅力的に思えるかもしれない。そのため、不完全なAIを重要な用途に用いることへの懸念に対し、「人間による監視を入れれば大丈夫」とあたかも万能薬のように持ち出されている。
しかし、不完全なのはAIだけではない。人間もまたきわめて不完全な存在であり、特にAIの監督となると驚くほど不得意なことがわかっている。数学者で公共政策の専門家であるベン・グリーンは、2022年のComputer Law & Security Review誌に発表した論文で、アルゴリズムに対する人間による監視の限界を実証的に検証している。
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3921216
グリーンは、公共部門のアルゴリズム導入を、行政執行における古くからのジレンマの最新形態と位置づけている。官僚機構には、相反する二つの要請がある。一つは公平性であり、全ての人を平等に扱うこと。もう一つは裁量権を行使し、個々の状況に応じて判断を下すこと。この二つを同時に実現することが、そもそも不可能なのは明白である。
しかし、人間が監視するアルゴリズムによる意思決定ツールは、客観的な公平性と主観的な裁量の両立というこの不可能を可能にする魔法の杖に見える。アルゴリズムは計算可能な数学に基づいているため「客観的」とされ、例えば、育児放棄が疑われる親に関する二つの同等の報告に対して、アルゴリズムは子供を引き離すべきかどうかについて同じ判断を推奨する。だが、その推奨を人間が確認すれば、アルゴリズムが見落とした特別な事情を考慮することもできる。これぞまさに、二兎を追って二兎を得る方法ではないか!
グリーンは論文で、人間による監視に関する様々なポリシー(地方、国、超国家レベル)を検証し、AIに対する人間の監視を義務づける一般的な方法をいくつか見出している。
第一に、ポリシーではアルゴリズムには必ず人間による監視が必要だと定められている。多くの法域で、人間の確認が必要な決定事項を詳細にリストアップし、誰からもチェックされずに重要な判断を次々に下していく「打ちっぱなし」システムを禁止している。
第二に、人間はAIの判断を覆す裁量権を行使できると定められている。つまり、人間の役割は単にAIの規則解釈の誤りを見つけることだけでなく、規則の適用に人間としての判断を加えることにある。
第三に、人間による監視は「意味のあるもの」でなくてはならない。重要な決定については、AIの入力と出力を徹底的に確認してから承認する必要がある。
最後に、人間には必ずAIの判断を覆す権限が与えられる。これは重要な点だ。「コンピュータがダメと言っているので」と、無力な表情で肩をすくめる担当者に出会った経験は誰にでもあるだろう。「申し訳ありませんが、どうしようもありません!」と。
こうしたポリシーは一見合理的に見えるかもしれない。しかし、実際には機能しない。人間による監視が現実にどのように行われているかについては、すでに徹底的な研究が行われ、一流の学術誌の査読論文として発表されているし、他の研究者による追試も済んでいる。アルゴリズムがもたらす害を人間の監視で防げるという理論は検証可能であり、そして実際に検証され、その結果、机上の空論であることが判明しているのだ。
たとえ専門家であろうと、人間は「自動化バイアス」の影響を強く受ける。自分の専門的な経験や知識と矛盾する結果が出ても、自動化システムの判断に従ってしまう傾向がある。ロンドンの警官を対象とした調査では、顔認識システムの信頼性を「著しく過大評価」し、実際の性能の3倍もの精度があると考えていたことが明らかになっている。
自動化システムの監視を任された専門家は、結論に至るまでの通常プロセスに関与しなくなるため、そのスキルが低下していく。問題を自分で解決するのではなく結論だけを確認する立場になると、結論を導くために必要な要素がどのように組み合わさるのかという感覚が失われていくのだ。皮肉なことに、基礎的な作業を行わずに最終段階だけをチェックするというのは、きわめて難しい作業なのである。
さらにマズイことに、アルゴリズムの推論プロセスを「透明化」して専門家に示すと、むしろ逆効果を招く。より批判的になるどころか、アルゴリズムの結論により従順になってしまうのだ。結局のところ、最終的な結論だけでなく、いくつもの中間的な結論までチェックしなければならなくなるためだ。
より深刻な問題もある。人間が裁量権を行使してアルゴリズムの判断を覆す場合、往々にしてアルゴリズムが排除しようとしていたバイアスを持ち込まむことにもなる。例えば子供の保護に関して、アルゴリズムは似たような状況の親に対して同じ判断(「子供から引き離すべき」)を下すかもしれないが、それをレビューする裁判官は、黒人の親よりも白人の親に対して判断を覆す可能性が高いのである。
AIを監督する人間は「制御、責任、道徳的な判断の感覚が鈍る」という。つまり、アルゴリズムの判断を覆す能力が低下し、その判断をそのまま受け入れることへの道徳的責任感も薄れていくのだ。
これらの影響は、たとえ人々がそれを認識し、対策の訓練を受け、明確な指示を与えられても、なくならない。そもそもAIを導入する理由は人間の不完全さにある。人間の不完全さを修正するためのAIを設計しながら、その監視者に完璧さを求めるというのでは、失敗は目に見えている。
グリーンが指摘するように、リスクを伴う重要な決定をAIに任せ、その害を人間による監視で防ごうとする試みは「逆効果」を招く。「根本的な懸念に実質的に対処することなく、政府のアルゴリズムへの監視を緩める」のだから。人間による監視は「根拠のない安心感」を生み出し、アルゴリズムの重要分野への導入を促進し、その失敗の責任を人間に転嫁する。ダン・デイビスの言葉を借りれば、「責任の空洞化(accountability sink)」を作り出すのだ。
https://profilebooks.com/work/the-unaccountability-machine
ヒューマン・イン・ザ・ループは机上の空論に過ぎない。「政府がアルゴリズムの恩恵だけを享受し、それによって生じる害をなくす」ことなどできなやしない。
では、なぜ我々は今でも、人間の監視するAIが政府や企業の官僚機構に取って代わり、機械的なスピードで意思決定を行うという話をしているのだろうか。
もしかすると、責任の空洞化はバグではなく、むしろ意図された機能なのかもしれない。コスト削減の強い圧力にさらされた政府が、社会的な発言力の弱い人々を犠牲にして手抜きをする方法を発見し、その全てを人間のオペレータのせいにしようとしているとしたら? マデリン・クレア・エリッシュの言葉を借りれば、人間のオペレータは「道徳的クランプルゾーン(緩衝材)」として利用されているのだ。
https://estsjournal.org/index.php/ests/article/view/260
グリーンは次のように述べている。
保護メカニズムとしての人間による監督を強調することで、政府とベンダーは都合の良い立場を手に入れている。アルゴリズムの能力が人間を超えていると宣伝しながら、同時に人間による監視が(建前上)提供するセキュリティを盾に、アルゴリズムとその責任者を精査の目から守ることができるのである。
(Image: Cryteria, CC BY 3.0, modified)
Pluralistic: AI’s “human in the loop” isn’t (30 Oct 2024) – Pluralistic: Daily links from Cory Doctorow
Author: Cory Doctorow / Pluralistic (CC BY 4.0)
Publication Date: October 30, 2024
Translation: heatwave_p2p