米国立研究所が描く人間とAIのディストピアな「バディ・コップ」ファンタジー

Electronic Frontier Foundation

国立研究所の研究者たちが、警察や国境警備隊がAIによって支援される未来を予測している。この場合のAIはソフトウェアとしてではなく、追跡中にハンドルを握ったり、ソーシャルメディアを検索して詳細な捜査を実施すべき対象者を探し出す自律的パートナーとしての役割が期待されている。この「デジタル警察官（Digital Police Officer）」、またの名を「D-PO」は、時代を先取りしたコンセプトとして紹介されているが、その提案内容は、これまでで最もディストピアチックなバディ・コップ映画の宣伝のようにも聞こえる。

研究チームは、米国エネルギー省から委託されたバテル社のパシフィック・ノースウェスト国立研究所（PNNL）を拠点としている。彼らは、捜査機関上層部向けの雑誌にコンセプトアートや記事を掲載している。EFFは情報公開法に基づく申請により、この資料を入手して冒頭のコンセプトを知った。

M・C・エッシャーの有名な作品を模した、ロボットと人間が互いの手を描いているスライドから始まる。「人工知能の力を最大限に活用するためには、人間がどのように人工知能と対話すればよいかを知るところから始まる」という書き出しから、「私たちは、単に道具としてではなく、ともに働く仲間としてコンピューティング・システムを設計しなければならない」と続く。

市民的自由団体は長年にわたり、顔認識や「予測的取り締まり」システムなど、法執行機関による自動化技術への依存が生じさせる脅威について警告してきた。近年では、ピクルス型の警備巡回ロボット「ナイトスコープ」や、米国国土安全保障省が米国・メキシコ国境への配備を期待している四足歩行の「犬」型ロボットなど、自律型警察ロボット固有の問題にも注意喚起している。

PNNLチームの「人間と機械のチーミング」のビジョンは、さらにその先にある。

研究者はこの用語の定義を記したスライドで、「AIは、人間と環境から学ぶことで、ミッションに積極的な役割を果たすことができる」という。そして「この知識を利用して、人間からの具体的な指示を必要とせずに、チームを導くことができるようになる」。

デジタル警察官

研究者たちは、国際警察署長協会の機関誌『Police Chief』と『Domestic Preparedness Journal』に掲載された記事で、ミラー巡査と彼女の電子相棒であるD-PO（明らかにC-3POのもじり）という架空のコンビを紹介している。彼らは5年間にわたって2人で街をパトロールしてきたという。

PNNLのコンセプトアートによると、2人はこんな感じらしい。

（厳密に言えば、この写真の被写体は救急隊員なのだが、両機関誌とも警察官の物語を説明するために使用されている）

以下の画像も、情報公開請求によってEFFが入手したプレゼンテーションに含まれていたPNNLのコンセプトアートである。

PNNLのフィクションは、D-POがいつもと同じように担当区域全域を監視し、概要をミラー巡査に報告するところから始まる。そこに強盗が入ったとの緊急無線が飛び込んでくる。PNNLの研究者たちは、ドローン、顔認識、自動運転技術、アルゴリズムによる予測などを駆使した、流れるような技術的な対応を描く。

ミラー巡査が現場に急行する間、D-POは現場上空を旋回する自立型警察ドローンのカメラ映像をモニターする。続いて、D-POはディープラーニングによる画像認識で容疑者の人相と一致する人物を照合、ミラー巡査に高確率で一致する人物を報告する。巡査は映像を確認するために、運転を変わって欲しいとD-POに告げる。D-POは、パトカーのディスプレイに容疑者の映像を映し出す。D-POは映像の特徴を強調し、高確率で一致する特徴について説明する。

「この人物を逮捕しますか？」と、D-POは彼女に尋ねる。

ミラー巡査はその助言に従った。

車で現場に向かいながら、ミラー巡査は人間のパートナーと同じようにD-POに話しかける。「この男を逮捕するにはどうすればいい？」

D-POはその質問を状況に応じて処理する。D-POは「この男」が容疑者を指していることを理解し、容疑者を逮捕するための3つの選択肢と、それぞれのリスク評価を素早く伝える…。

もちろん、D-POのブリーフィングだけでは警察官は判断できない。普段は運転好きなミラー巡査だが、複数の選択肢を検討するには、デジタルパートナーにハンドルを握ってもらわなければならない。

「代わって」。彼女はD-POに告げた。

ミラー巡査がD-POにモトリー・クルーの『Kickstart my Heart』をかけてくれと言っていたら、これぞバディもののアクションシーンだったのだが。

著者は、この物語の結末を読者に委ねている。あなたがテクノロジーに幻想を抱いているなら、この物語は誰一人傷つくことなく解決し、D-POも含めたチーム全員が表彰される完璧な逮捕劇を思い描くかもしれない。だが、警察とテクノロジーの交差点を長く調査していると、人違いから無実の人を刑事司法に巻き込んでしまったり、避けられたはずの銃撃戦が発生してしまったりと、さまざまな悲劇的結末が訪れる可能性が頭をよぎる。

EFFは今春、PNNLに情報公開法に基づく要請を行い、このプログラムの詳細、進捗、国内捜査機関からの問い合わせについて調査した。

良いニュースとしては、我々が入手した電子メールよると、著者の一人が、D-POが運転を引き継げるようになるまでは「長い道のり」が必要であり、ドローンによるライブ映像の監視は「近い将来には実現できない」ことを認めていることがわかった。また、『Police Chief』誌の記事末尾に掲載されたPNNLのメールアドレスから連絡してきた機関は、ネブラスカ州アライアンス警察（人口8150人）だけであった。

「我々は、街中のカメラ、ALPR、ドローンなどの人工知能プログラムを導入している」とフィリップ・ランケンス署長は綴っている。「我々が一緒に仕事をしたり、何かを試してみることに、私はオープンです。あなたの考えと、私がどのように手助けできるかを教えてください。あなた方の取り組みに感謝します」。

悪いニュースとしては、公開された文書から、この技術が米国の国境取り締まりにおける拡張現実との組み合わせに関するコンセプトも含まれており、それは実現までかなり近い可能性があることである。

国境検問チームメイトシステム

PNNLの研究者たちのスライドには、税関・国境警備局（CBP）に、同様の技術を入管時の車両検査プロセスに組み込むよう促す項目がある。

CBPは、監視用飛行船から自律型監視塔まで、国境警備を口実に実験的な技術に投資することで悪名高い。PNNLのシナリオでは、国境検問チームメイトシステム（BITS)は、拡張現実（AR）ヘッドセットを介して検問所の検査官と通信する自律的人工知能ということになっている。

（我々はPNNLに、このスライドをもっと判別しやすいようにスキャンしてくれるよう求めたが、応じてもらえなかった）

このコンセプトは、テクノロジー・スリラーの物語としても描かれている。数人のCBP職員が国境でトラックを停止させた。職員が車両を検査し、運転手から聴取している間に、BITSは「州際通商、国土安全保障、連邦および州の商用トラックの取締などにかかわる複数の機関が管理する」データベースをせっせと調べ上げる。さらにBTISは秤量所で録画されたビデオもチェックし、トラックの走行ルートの交通データや天候データも分析する。BITSは、運転手が嘘のルートを話している可能性があると結論づけ、より深いレベルの尋問を行うことを提案する。

もちろん、国境警備隊はその提案を受け入れる。BITSはスキャンデータを、過去に取得された無数のスキャンデータとリアルタイムで照合し、運転手が運ぶ木箱が以前に麻薬のブリスターパックが入っていた木箱と類似していることを伝える。

最後に、BITSは運転手についてオンラインでスキャンし、「運転手のソーシャルメディアの活動は、同様の犯罪にかかわる容疑者とのつながりを示している」と判断する。

このシナリオは、CBP職員が運転手を拘束するところで終わっている。このシナリオでも、研究者は結論を読者に委ねている。トラックの荷台から違法な麻薬が発見されたかもしれないし、コンピュータの判断は全くの間違いで、運転手は生鮮食品を時間どおり届けることができずに職を失うのかもしれない。

EFFが受領した記録では、CBPや国土安全保障省からの公式な問い合わせは確認されていない。だが、BITSはD-POほど遠い未来の話ではないのかもしれない。CBPは少なくとも2018年から、HoloLensヘッドセットを使って、貨物に知的財産侵害品がないかを検査するというAR実験を実施している。

一方、サンディエゴ州立大学（SDSU）の「人工知能の専門家」が、BITSと（それ以上に警戒すべき）類似の技術を開発している。このプロジェクトは、HoloLensヘッドセットを使って、「DHSが国境でテロリストを『見る』のを支援する」ことを目指しており、「国境警備隊が知るべき全ての情報を視界に入れるために、カスタムビルドアルゴリズムを追加し、より迅速で徹底したイペレーションを行う」ものだという。

このシステムは以前、SDSUの専門家がDHSから資金提供を受け、2011年頃に国境検問所でテストされた「リアルタイム真贋評価エージェント（AVATAR：Automated Virtual Agent for Truth Assessments in Real Time）」プロジェクトから構想されたもののようだ。SDSUの宣伝記事によると、AVATARは「もともと国境や空港のセキュリティように設計された」もので、「キオスク内の行動センサーから送信される情報に基づいて、インタビューされた人物が嘘の回答をしていないかを見分ける」ことができると研究者は主張している。こうした技術は、人種的バイアスのみならず、重大なエラーを生む危険性もはらんでいる。

このテクノロジーは、国境警備という非常に政治的な領域で働く役人にはありがたく見えるのかもしれないが、入管での旅行者の権利の侵害や当局の権限濫用などを長らく追跡してきた市民的自由の擁護者にとっては、最高レベルの警報を鳴らすものでもある。

テクノロジーに幻想を抱くな

現代の警察の問題の1つは、開発者やマーケティング担当者が宣伝する“奇跡的で非現実的なナラティブ”にそそのかされて、実証もされていない技術を、それが引き起こしうる被害を考慮することなく採用してしまうことだ。

PNNLの研究者たちは、D-POを「SF小説」を現実にしたかのようなソリューションだと胸を張っている。だが、彼らが思い違いをしているのは、SFというジャンルは、読者や世界に最悪のシナリオを想像してもらうために作られたのである。『2001年宇宙の旅』では、HALは乗組員を殺害した。『マイノリティ・リポート』では、プリコグは間違いを犯した。『ターミネーター』のスカイネットは人類を滅亡の淵に追いやった。

PNNLのチームが想像力を発揮して新たな取締技術の危険性を探り、闇雲に突き進むのではなく、落とし穴を避けることを意識するようになれば、社会はもっといい方向に進むのだろう。

A National Lab Is Promoting a “Digital Police Officer” Fantasy for Law Enforcement and Border Control | Electronic Frontier Foundation