以下の文章は、Access Nowの「Artificial Insecurity: threats to information integrity」という記事を翻訳したものである。
Access Now
高度な人工知能(AI)ツールを支える杜撰なデジタルセキュリティ慣行をめぐるブログシリーズの第2回となる本稿では、大規模言語モデル(LLM)が情報の完全性をいかに脅かしているか、そしてその脅威をどう軽減するかを探る。第1回はこちら(邦訳)から読める。
毎週、何億もの人々がChatGPTに健康やウェルビーイングにかかわるきわめて個人的な質問を投げかけ、その過程で血液検査の結果やスキャン画像、医療記録をアップロードすることも少なくない。そうしたデータが非公開かつセキュアに保たれるのかという明白な懸念――機密性を扱った前回の記事(邦訳)で検討したように、それは決して自明ではない――はひとまず脇に置くとしても、ある疑問が湧いてくる。チャットボットをはじめとするAIツールが次々と吐き出す回答を、果たして信頼できるのか? デジタルセキュリティとAIをめぐるブログシリーズの第2回となる本稿では、このテーマをとりあげ、情報の完全性という観点から大規模言語モデル(LLM)を検証していく。
// AIは本当に話をでっち上げるのか
手短に答えるなら、イエスだ。機密性・完全性・可用性(CIA)の3要素によれば、完全性を守るとは、データが「信頼でき、欠損がなく、権限のないユーザによって偶発的に改変・修正されていない」ことを保証することを意味する。従来のソフトウェアシステムであれば、完全性への脅威といえば権限のない第三者によるデータの改ざん等であった。しかしLLMにとって最も重大な問題は、誤った、欠陥だらけの出力を何度も、しかも自信満々に生成してしまうことにある。
理由は単純だ。LLMは高性能な自動補完プログラムのようなものであり、メッセージアプリが文章の入力中に次の単語を提案するのと同じように、プロンプトに対してありそうな応答を予測しているにすぎない。チャットボットの回答がもっともらしく見え、実際に正確な場合もあるのは、LLMが膨大な量のテキストや画像などのメディアで訓練されているからだ。だが誤りを犯しやすいその性質を考えれば、原則として、むしろ間違えないときにこそ驚くべきなのである。
こうした誤りを「ハルシネーション」と呼ぶにせよ、「作話」と呼ぶにせよ、あるいは「近似の失敗」(我々が好んで使う用語だ。成功であろうと失敗であろうと、LLMの出力すべては近似として捉えられる)と呼ぶにせよ、増えつつある研究は、それが技術的に不可避であることを示唆している。とはいえ、こうした誤りをある程度軽減できないわけではない。広く用いられている手法の1つに検索拡張生成(RAG)がある。LLMにもっともらしい回答をでっち上げさせるのではなく、特定の外部ソースから情報を取得させる手法である。たとえば、自分の住む街のある店の住所と電話番号をChatGPTに尋ねると、完全に、あるいは部分的に誤った結果が返ってくるかもしれない。RAGはチャットボットに対し、質問に答える前にGolden Pages(職業別電話帳)のような信頼できるデータベースを参照し、関連情報を取得するよう強制する。
理屈のうえでは素晴らしく聞こえる。だがRAGの手法は誤りの削減には成功しているものの、誤りを確実に、あるいは完全に根絶できるわけではない。最先端の誤り削減手法を用いてさえ、LLMやそれを基盤とするシステムは一貫して誤った情報を生成しがちであり、この問題は最先端のLLMでも解消されていない。その一方で、より小規模で専門特化したモデルのほうが、特定の領域ではより正確な場合があるというエビデンスもある。LLMの正確性に関しては、大きければよいというわけではないようだ。
// AIによる近似の失敗はどれほど危険なのか
AIが量産した不正確な情報が、人生を左右し、場合によっては命にかかわる結果を招くこともありうる。AIが生成した近似の失敗が紛れ込むことが絶対にあってはならないのが法廷だ。だが、米国の裁判事例わずか2か月分を対象とした最近の調査では、「裁判所または相手方当事者が提出書面の中に実在しない判例を発見した」事例が22件以上確認された。英国やオーストラリアでも同様の事例が報告されており、弁護士だけでなく本人訴訟の当事者もかかわっている。
もちろん、不誠実な弁護士や悪辣な弁護活動は高度なAIツールの登場以前から存在するし、専門職団体も非倫理的な利用を防ぐためのガイダンスを策定しつつある。もっとも、法曹界にAIツールの導入を迫る圧力を前に、弁護士たちが適切な軽減策や不適切な使い方について学ぶのを怠る可能性はある。だが根深い問題は、AIツールが専門的な法律業務を自律的にこなすのに適していて、それが可能であるかのように宣伝されていることだ。AIが重要な細部を誤った場合の帰結は深刻になりうることを考えれば、これは弁護士にとっても訴訟当事者にとってもなおさら問題である。
医療目的でのツール利用に目を向けると、リスクはさらに高まる。先に触れたように、健康に関する疑問の答えを求めて、ChatGPTなどのチャットボットに頼る人はますます増えている。だが最近発表されたオックスフォード大学の研究によれば、現実の具体的な症状について尋ねられた場合、チャットボットはその人の病状をほとんど正しく特定できなかった。医師国家試験のシナリオでは同じ病状を特定できたにもかかわらず、である。一方、ブラウン大学の研究者らは、メンタルヘルスの相談に用いられた場合、チャットボットがメンタルヘルスの専門家が遵守する「実践上の倫理基準に体系的に違反している」ことを明らかにした。身体的・精神的な安全がかかっているかもしれない現実の重大な局面において、これは紛れもなく危険であり、悲劇的な結果を招きかねない。
// 情報の完全性への脅威を避けられない理由
こうした脅威を前にすると、AIが生成する誤情報から身を守る簡単な方法があるじゃないかと思われるかもしれない。深刻な問題やセンシティブな問題については、ChatGPTであれほかのチャットボットであれ質問しなければよい、と。しかし「従来型」の検索エンジンにAIによる概要や要約が組み込まれたことで、AI生成の回答を避けることはほぼ不可能だ。2024年、Googleは検索全体にAI要約を導入した(Google検索の世界市場シェアはほぼ90%に達する)。これにより、好むと好まざるとにかかわらず、検索結果の最上部で目にするLLM生成の出力は激増した。案の定、このツールはリリース直後からスキャンダルにまみれている。最も記憶に残っているのは、チーズをピザにくっつけるのに無毒の糊を使うよう勧めたり、人間は1日1個石を食べるべきだと推奨したりした一件だろう。
Googleが「例外的な事例」と呼んだこうした誤りは馬鹿げて見えるかもしれないが、笑い事では済まないものもある。AIチャットボットが生み出す健康関連の誤情報と同様に、The Guardianによる最近の調査では、がんや肝臓病に関する虚偽情報など、GoogleのAI生成の要約にさまざまな医学的誤りが見つかった。Googleはその後これらの特定の結果を削除し、こうした事例は本来信頼できるツールが生んだ想定外の異常にすぎないと主張し続けている。だが実態はその逆だ。GoogleのAI要約は根本的に安全でもセキュアでもなく、目的に適っていない。それでもなお、AI要約やその他のAI生成によるコンテンツ要約は、恩恵は証明されず害は証明されているにもかかわらず、人々に押しつけられているのである。
// AIアシスタントからAIセールスパーソンへ
個々の機能がもたらすリスクにとどまらず、もう1つ懸念すべき傾向が浮上している。LLMの展開を支えるビジネスモデルそのものが、情報の完全性への脅威を増幅させているのだ。その最たる例が、AIチャットボットへの広告の導入である。
先月、OpenAIはChatGPTの無料版と月額8ドルのサブスクリプション版の両方でターゲティング広告の掲載を開始すると発表した。OpenAIによれば、広告には「スポンサー」と明記され、チャットボットの応答に影響を与えることはないという。だが、センシティブな内容を含みうるチャットボットとの会話にターゲティング広告を持ち込むことのプライバシーリスクに加えて、このようなビジネスモデルは人々が受け取る情報の完全性を損なう危険をはらんでいる。チャットボット企業は、自社製品やサービスへトラフィックを誘導するよう出力を調整せよという経済的な圧力を、広告主から受けることになるからだ。
では、こうしたリスクに対して何ができるのか。第1に、こうしたサービスの利用者には、LLMを用いた機能について少なくともオプトアウト、できればオプトインの選択肢が与えられるべきであり、ツールの設計やマーケティングではその限界を明確に示すべきだ。第2に、モデルが特定の回答に至った過程の明確な内訳(「推論の連鎖」)や、回答をまとめるに当たってどの情報源が参照されたのかを確認できなければならない。LLMの誤りが不可避であることを認めるのであれば、システムがどこで道を誤ったのかを正確に突き止め――そしてそれを正せることが決定的に重要となる。
また我々は、生活のあらゆる側面にますます巨大なLLMを組み込む必要があるという言説に抗わなければならない。LLMには使い道もあるが、明確な限界と欠点もある。次稿で論じるように、「いつでもどこでもLLMを」という熱狂的な推進は、誰もが依存するデータやサービス、システムへのアクセスとその可用性をも危うくしているのだ。
Artificial Insecurity: threats to information integrity – Access Now
Author: / Access Now (CC BY 4.0)
Publication Date: 12 February 2026
Translation: heatwave_p2p