AI黙示録は“簡単に”回避できる

Electronic Frontier Foundation

人工知能が世界を破滅させるのではないか、という懸念と不安が高まり続けている。兵器化されたAIの安全保障上のリスクについて米国務省の委託報告書が、その懸念をさらに悪化させている。

『ウォー・ゲーム』や『ターミネーター』ような人気映画、デジタル・シミュレーションでAIが必要以上に核兵器を使いたがるというレポート、AIが人間よりも早く核の脅威を評価できるというアイデア、これらに共通するシナリオは、コンピュータにボタンを押す権限を持たせてしまったとか、核の脅威のシミュレーション結果を見せて人間に決断を迫ったとかで、核兵器が（ほとんどのケースで）発射されるという結末である。AIのリスクとされているのは、「コントロール」をコンピュータに委ねてしまうことばかりではない。高度なアルゴリズムシステムがサイバーセキュリティ対策を突破したり、リアルな音声、テキスト、画像、映像、あるいはデジタルのなりすましによって人々を操作したり、ソーシャルエンジニアリングしたりすることなどもある。

しかし、このような事態を回避し、自業自得な破滅を防ぐ簡単な方法がひとつある。つまり、コンピュータに破滅的な兵器を発射する権限を与えないことだ。これは、アルゴリズムに究極的な決定権を与えないということでもあるが、それだけでなく、ある種の生成AIが攻撃を開始できる命令になりすましたり、シミュレートできないようにプロトコルやセーフガードを組み込むことも含まれる。これは実に簡単なことで、人間の自由の決定から核兵器による先制攻撃や報復攻撃に至るまで、多くの重要な意思決定にコンピュータの意思決定を組み込まないというラディカルなアイデアを提案しているのは、なにも私たちだけではない（し、最初の提案でもない）。

まずは用語を定義しよう。始めに、私は「人工知能」という言葉をあくまでも便宜上使っている。「人工知能」という言葉は、人間の主体性を批判から遠ざけてしまう問題のある用語だが、ベンダーや政府機関はアルゴリズムによる自動化された意思決定を説明する言葉として頻繁に用いている。私たちがここで話しているのは、与えられた膨大な量の過去ないし仮定の情報に基づき、確率と文脈を用いてどのような結果が予想されるかを選択するアルゴリズム・システムだ。それゆえ、ソーシャルメディアの投稿をもとにアルゴリズム・チャットボットを訓練すると、チャットボットが訓練された人種差別的なレトリックを再生産するようになったのだ。また、予測的取締りアルゴリズムが、すでに警察が重点的にパトロールしているために逮捕事案の大半を占める地域に警察を送り込み、人種差別的なバイアスに基づく取締りを強化してしまうこともある。たしかにデータだけを見ると、その地域でばかり犯罪が起きているように見える。AIの専門家でテクノロジストのジョイ・ブオラムウィニは、「AIシステムの導入で、最初は鏡を見ているように思えた。だが今は歪みの万華鏡を見ているように思える。私たちが未来に導くと信じられているテクノロジーが、実はすでになされたはずの進歩を後退させようとしているのだから」と語っている。

軍事戦術はAI利用を推進すべきでない

EFFが2018年に書いたように、「軍は警告ラベルを見逃して、機械学習の誇大広告を鵜呑みにしてはならない。機械学習でできることは数多くあるが、近い将来、そしておそらくそれ以降も、目標選択、火器管制、大部分の指揮・統制・諜報（C2I）の役割から遠ざけておくべき理由は無数にある」。（EFFの2018年版ホワイトペーパーはこちらから： The Cautious Path to Advantage: How Militaries Should Plan for AI）

警察と同様、軍事においても、技術的優位性を保つためには、（防衛契約で一攫千金を狙う企業の熱心なマーケティングでも連呼されているように）絶え間のないイノベーションが求められる。だが、イノベーションを目的化してテクノロジーを統合すれば、予期せぬ大きなリスクを抱えることにもなる。AI強化されたターゲティングは、標的を誤るかもしれない。AIは騙すためにも使えるが、AIが騙されることだってある。ハッキングもされる。そして、AIに武力紛争を激化させる権限を与えてしまえば、みんなが戦々恐々としているAI黙示録（人間がボタンを管理していれば容易に回避できるはずの）が引き起こされるかもしれない。

以前に書いたように、同様の理由から、警察が国内でロボット（遠隔操作型であれ自律型であれ）を武装させる試みを禁止しなければならないのである。いわゆる「機械やロボットの自律性」というアイデアは、標的を誤認したり、ミサイルの飛来を読み間違えて核兵器を発射しても、責めを負うべきはコンピュータだけだという誤った主体性の感覚を生み出してしまう。コンピュータに意思決定をさせるのも人間なら、意思決定をさせるプログラムも訓練するのも人間だ。

AIは教えたとおりに動く

言語学者エミリー・ベンダーの言葉を借りれば、「AI」、特にテキストベースのアプリケーションは「確率論的なオウム」である。要するに、私たちはAIに学習材料を与え、AIはそれを学習し、そしてその過去のデータセットに基づいて結論を導き、意思決定を下す。あるアルゴリズム・モデルに、ミサイルが撃ち込まれたら10回中9回は報復攻撃を仕掛けると教えれば、モデルが鳥の群れをミサイルの飛来と見間違えた瞬間に、教えた通りのことが起こる。

AI研究者のケイト・クロフォードは、「AIは人工的でも知的でもない。むしろ人工知能は、天然資源、燃料、人間の労働力、インフラ、ロジスティクス、歴史、分類から作られる、具現化された物質的なものである。AIシステムは自律的でも合理的でもなく、膨大なデータセットや事前に定義されたルール、報酬がなければ何も見分けられない。実際、我々が知る人工知能は、広範な政治的・社会的構造に完全に依存している。そして、大規模AIを構築し、最適化するには莫大な資本が不可欠だという見方によって、AIシステムは結局のところ、既存の支配的利益に奉仕するよう設計されている」と述べている。

AIは私たちが教えたとおりに動く。仮説や過去のデータを通じて、教えられたとおりの意思決定を模倣する。ということは、繰り返しになるが、我々はAIがもたらす来るべき終末に無力ではないのだ。私たちはAIに操作方法を教えることができる。私たちはAIにエスカレーション、兵器、軍事的対応のコントロールを与えることができる。そして、そうしないこともできるのだ。

AIガバナンスは“秘密化”ではなく“使用の規制”である

AIの兵器化に関する米国務省の委託報告書には、AIの内部構造を更に秘密化するという厄介な提言が含まれていた。報告書全文（『Time』誌の要約）では、アルゴリズムの改ざん・操作を防ぐために、AIを監督する新たな政府規制機関がAIの内部構造の公表を犯罪化し、懲罰の対象とする可能性が示唆されている。つまり、私たちの日常生活でAIがどのように機能し、政府がどのようにAIを利用するかは、オープンにはならず、常にブラックボックスの中に置かれるということだ。刑事司法制度から雇用に至るまで、私たちの生活の多くの部分がすでに自動化された意思決定に支配されている。これらのシステムがどのように訓練されているかを知る唯一の手段を犯罪化することは、逆効果であり、間違っているように思える。

むしろ、操作や改ざんを発見できるように、AIの内部構造をオープンにし、システムがどのように機能しているのかをより多くの人の目に触れさせるべきだ。

結論

機械学習とアルゴリズム・システムは、有用な、しかし未知数のツールである。だからこそ、これらのテクノロジーが何であり、何ではないのかを理解しなければならない。機械学習システムは「人工的」でも「知的」でもないし、人間の心から独立した、代替的で内発的な知のあり方を示すものでもない。人間はこれらのシステムを構築し、望ましい結果を得るために訓練する。AIの出力が予想外のものであったとしても、ほとんどの場合、訓練データシステムのどこかにその原因を見つけることができるだろう。これを理解することは、AIの導入方法と導入時期、とりわけ防衛契約における責任ある決定に大いに役立つはずだ。

このことは、AIが武器化しないということを意味しないし、すでに政治的な偽情報や現実のなりすましという形で表れている。しかし、そのソリューションはAIを完全に違法化することでも、核兵器の発射ボタンをコンピュータに委ねることでもない。イノベーションを尊重し、テクノロジーそのものではなくその使用を規制し、重要なシステムを自律制御下に置く方法や時期をパニックやAIの太鼓持ち、軍事の専門家に委ねない、常識的なシステムが必要とされているのである。

The Tech Apocalypse Panic is Driven by AI Boosters, Military Tacticians, and Movies | Electronic Frontier Foundation