人工危能［Artificial Insecurity］――AIツールはいかにして機密性を損なうのか

Access Now

高度な人工知能（AI）ツールを支える杜撰なデジタルセキュリティ慣行をめぐる3回シリーズの第1回となる本稿では、大規模言語モデル（LLM）が人々のデータの機密性をいかに脅かしているかを解き明かす。

AIの可能性と危険性についてどう考えるにせよ、これらのツールが目に余るセキュリティ上の脆弱性を抱えているという事実は、もはや無視しようがなくなりつつある。ユーザデータの流出からハッキングの手助けまで、情報の完全性の毀損からサプライチェーンの脆弱性の創出まで、AIツールは杜撰なセキュリティ慣行の上に成り立ち、同時にそれによって蝕まれている。本シリーズで掘り下げていくように、これは我々のデータの機密性、情報の完全性、そしてシステムへのアクセスと可用性に深刻な影響を及ぼしている――そしていずれも、人権を尊重するアプローチが解決の助けとなりうる問題だ。

// なぜAIとデジタルセキュリティについて語らねばならないのか

近年、チャットボットや画像生成ツール、「AIエージェント」といった「高度なAI」ツールが話題に上るとき、実際に語られているのは「大規模言語モデル」（LLM）を基盤とするシステムである点に留意しておきたい。LLMは機械学習モデルの一種で、テキストや画像、動画を含む膨大なデータで訓練されており、プロンプトに応じてコンテンツを生成したり、信頼性にばらつきはあるものの複雑なタスクを実行したりできる。

LLMに特有のセキュリティリスクを分析するうえで役立つのが、機密性・完全性・可用性（CIA）の3要素だ。組織がデータセキュリティをどう扱うかの指針として広く用いられているモデルである。LLMに当てはめると、この枠組みはそのセキュリティリスクの理解を助けるだけでなく、リスクを軽減するうえで人権のセーフガードがなぜ不可欠なのかも示してくれる。たとえば以下で論じるように、CIAの3要素を用いれば、個人のセキュリティやデジタルライツがLLMによっていかに危険にさらされうるかを理解できる――データ侵害が起きたとき、チャットボットに入力したデータの機密性はどうなるのか、というように。だがそれだけではない。LLMがより幅広く構造的にデジタルセキュリティを脅かす様を検証することも可能になる。本シリーズの第2回と第3回で論じるように、そこには「AIスロップ」による情報の完全性の毀損や、システムの可用性を損なうかたちでの市場支配力の集中が含まれる。

// AIはいかにして機密性を損なうのか

米国国立標準技術研究所（NIST）によれば、機密性とは「個人のプライバシーと専有情報を保護する手段を含め、情報へのアクセスと開示に対する正当な制限を維持すること」を意味する。言い換えれば、権限のない者があなたの情報にアクセスできてはならないということになる。LLMベースのツールをセラピーや医療相談から話し相手に至るまであらゆる用途に使い、企業や政府、非営利団体もセンシティブなデータを扱う業務フローにこうしたツールを組み込んでいる現状を考えれば、これはとりわけ重要である。

LLMベースのツールを悩ませるセキュリティ上の欠陥は、しばしばきわめて初歩的なものだ。たとえば、MicrosoftやGoogleといった既存の大手は多要素認証（MFA）を提供しているが、人気のAIアプリの多くはネイティブなアカウント保護機能が乏しく、攻撃者にアカウントを簡単に乗っ取られかねない。偶発的か意図的かを問わず、データ侵害も日常茶飯事となっている。2025年1月には、Wiz Researchが中国企業DeepSeekの誰でもアクセス可能なデータベースを発見した。そこにはユーザのチャット履歴や秘密鍵、バックエンドの詳細をはじめ、きわめてセンシティブな情報が含まれていた。またほんの3か月前には、攻撃者がサードパーティの分析プロバイダを経由してOpenAIをハッキングし、氏名、メールアドレス、位置情報、OS、ブラウザ情報といった個人情報が流出している。

さらに、セキュリティ強化をうたうツールが、実際にはセキュリティを損なっている場合さえある。Koiのセキュリティ研究者らは最近、Urban Cyber Security Inc.の仮想プライベートネットワーク（VPN）ブラウザ拡張機能の多くが、センシティブなデータに対する「AI保護」をうたいながら、実際には800万人にのぼる人々がLLMに入力したすべてのプロンプト、受け取った応答、タイムスタンプ、メタデータ、利用したAIツールの情報を収集していたことを突き止めた。Koiによると、Urban Cyber Security Inc.はこれらの情報をデータブローカーと共有していたという。

// AIにまつわるより広範なプライバシーリスクとは

The New York Timesは現在、著作権侵害でOpenAIを提訴している。人々がChatGPTを使って同紙のオンライン・ペイウォールを回避しているとの主張だ。これを立証するため、同紙は2,000万件を超える非公開のChatGPTの会話へのアクセスを求めている。訴訟の是非はともかく、これらの会話へのアクセスを認めれば甚大なプライバシー侵害となる――しかもこれは例外的な事例ですらない。法的手続きでAIのチャットログの開示を求める請求は、ますます頻繁になっているのだ。

ここでの大きなリスク要因の1つは、ChatGPTやGeminiといったチャットボットでは、エンドツーエンド暗号化（E2EE）が標準機能でないばかりか、そもそも利用できるとも限らないことだ。つまり、人々のチャット履歴は流出の危険にさらされている。E2EEはプライバシーをはじめとする人権を守るうえで根幹をなすものである。チャットボットのプラットフォームがチャット履歴を暗号化していないという問題に加え、OSやアプリケーションのレベルで動作するLLMベースのAI「エージェント」やアシスタントが、E2EEのセキュリティ上の約束を骨抜きにしつつある。

2024年4月、MetaはE2EEを採用しているWhatsAppに自社のAIチャットボット「Meta AI」を導入したが、これを削除するオプションは用意されていない。つまり、相手のユーザが求めれば、あなたの同意なしにMeta AIがあなたとそのユーザとのメッセージにアクセスして要約でき、その要約はMetaのサーバを経由するということだ。電子フロンティア財団が説明しているように、チャット相手がMeta AIに質問した場合、「双方が目にしている会話のその部分はエンドツーエンド暗号化されておらず、AIの訓練に利用されうる」。これは誤った方向への大きな一歩だ。WhatsAppでのやりとりの秘密が守られないわずかなリスクは、もとより常に存在していた（たとえばチャット相手が暗号化された内容をスクリーンショットやコピーで保存したり、ガイドライン違反の疑いであなたのメッセージをWhatsAppに通報したりする可能性はある）。だが、Meta AIはプライバシーが守られるのが当然という前提そのものを取り払ってしまうのである。

WhatsAppは、Meta AIに共有した会話を要約されたくないなら、高度なチャットプライバシー機能を有効にするだけでよいと主張している。しかし、責任を個人に押しつけるだけでは不十分だ。とりわけこの機能はチャットごとに手動で有効化しなければならず、すべての会話に一括で自動適用する簡単な方法は存在しない。Meta AIをデフォルトで組み込み、その過程でWhatsAppのプライバシーとセキュリティの約束を薄めてしまうのは、LLMベースのツールが本人の同意の有無にかかわらず押しつけられるという、より大きな潮流の一端なのである。

// AI（二重）エージェントの危険

既存アプリへの新たなAI機能の統合と並んで、OSレベルで機能する「エージェント型AI」ソフトウェアも新たなリスクを生み出している。AI推進派は生活のあらゆる側面にLLMを組み込むことを褒めそやし、航空券の予約から恋人候補へのメッセージ送信、株取引に至るまで、我々に代わってコマンドを実行できるAIエージェントの普及を声高に唱えている。

これこそ、Signal Foundation代表のメレディス・ウィテカーが「ルート権限問題」と呼ぶ問題だ。AIエージェントに、我々とのやりとりの「記憶」を含むシステムやデータへの全面的なアクセス権を与えれば、攻撃の機会が大量に生まれ、E2EEプラットフォームさえ骨抜きにしかねない。サイモン・ウィリソンはこの問題を「致命的な三位一体」として整理している。すなわち、AIエージェントはプライベートなデータにアクセスでき、信頼できないコンテンツにさらされ、さらに外部と通信してあなたのデータを外へ渡すことができるということだ。たとえばAIエージェントはプロンプトインジェクション攻撃に弱い。攻撃者がAIエージェントを騙し、クレジットカード情報の流出など、あなたが意図していないことを実行させる攻撃だ。こうしたリスクは、オープンソースでセルフホスト型のAIアシスタントソフトウェアOpenClawによって、いままさにリアルタイムで顕在化している。蓋を開けてみれば、OpenClawは無数の人々がお粗末極まりないセキュリティ設定のままAIエージェントを構築するのを許していたのだ。

// どのようなセキュリティ対策が提案されているか

現在に至るまで、LLMベースのツールに実装されたセキュリティ対策は、増大するリスクに追いついていない。The New York Timesによるチャット履歴の開示請求への反論の中で、OpenAIは「ChatGPTとのメッセージのクライアントサイド暗号化」に取り組んでいることを明らかにした。しかし、ここでさえ同社は「製品の安全上の問題を検出する完全自動化システム」の導入をほのめかしており、これはクライアントサイドスキャン（CSS）に酷似している。CSSとは、暗号化メッセージングプラットフォームを介して送信される前に、個人の端末上のコンテンツに何らかの好ましくない素材が含まれていないかスキャンする仕組みである。暗号化を損ない、攻撃リスクを高め、本来の目的を超えた用途拡大（ミッションクリープ）への扉を開く、どちらに転んでも損しかない提案である。

一方、オープンソースコミュニティは機密性を重視するうえで着実な前進を遂げている。OpenSecretのMapleAIはマルチデバイス対応のエンドツーエンド暗号化AIチャットボットを提供しており、SignalのE2EEプロトコルの共同開発者であるモクシー・マーリンスパイクは、ユーザのプロンプト、応答、関連データをすべて保護するオープンソースのAIアシスタント「Confer」を立ち上げた。とはいえ、少なくとも現時点では、こうした権利を尊重するソリューションは標準ではなく例外にとどまっている。

歯止めのないAI導入と、気が滅入るほどに緩いセキュリティ慣行の組み合わせは、一刻も早い対応を迫っている。高度なAIツールのセキュリティ問題は、リスクにさらされたコミュニティのセキュリティと安全よりも、利益と競争力を意図的に優先した結果であり、放っておいて解決するものではない。企業が自ら是正してくれれば言うことはないが、各国政府はこうした企業にセキュリティと人権を優先するよう求めることをためらってはならない。「公益」AIツールの調達や構築に公金が費やされているならなおさらだ。その一方で、我々一人ひとりも可能な限り、有名どころのモデルやツールに代わる、オープンで説明責任を果たす、権利を尊重した選択肢を支持すべきなのだろう。

Artificial Insecurity: how AI tools compromise confidentiality – Access Now