以下の文章は、コリイ・ドクトロウの「Humans are not perfectly vigilant」という記事を翻訳したものである。
Pluralistic
AIの面白い話をしよう。あるセキュリティ研究者が、大企業のAI生成のソースコードが存在しないライブラリを繰り返し参照していること（AIの”幻覚（ハルシネーション）”）に気づき、その名前をつけた悪意のある（無害な）ライブラリを作ってアップロードした。すると何千人もの開発者がそのコードをコンパイルする際に自動的にそのライブラリをダウンロードして組み込んでしまった。
こうした”幻覚”は大規模言語モデルの拭い難い特徴だ。なぜなら、AIモデルは理解しているフリをしているだけで、実際には高度な自動補完に過ぎず、次に来る単語を賢く（しかし確実に誤りがちな）推測しているだけだからだ。
文の意味を理解せずに次の単語を推測するため、教師なし学習の大規模言語モデルは高リスクのタスクには適さない。全てのAIバブルは、次の少なくとも1つを投資家に信じ込ませることによって支えられている。
I. AIの訓練とオペレーションの莫大なコストを回収できる低リスク・高付加価値のタスクがある
II. 人間のオペレータをAIに補佐させることで、コストを下げられる高リスク・高付加価値のタスクがある
III. 訓練データを増やせばAIの幻覚がなくなり、人間が関与せずに高リスク・高付加価値のタスクを処理できるようになる
しかし、どれも疑わしい。政治的デマ、スパム、不正、学生の不正行為、同意のないポルノ、ゲームのNPCとの対話など、低リスクで低付加価値のタスクは星の数ほどあるが、そのどれもがAIモデルやAI企業に数兆円の評価額をつけるほどの理由にはならない。
訓練データを増やせば幻覚が減るという主張は、AI実践者の間でも激しく議論されている。詳しい知識がないのでそれぞれの主張を評価できないが、仮に大量の人間が生成したデータを追加すれば良い推測ができるようになるとしても、深刻な問題がある。低付加価値で低リスクなアプリケーションがインターネットをボットのクソ（botshit）で汚している。結局、AIが最も優れているのは大量の嘘をでっち上げることだからだ。ウェブがボットのクソの肥溜めになってしまえば、インターネット上のサンプルデータに含まれる人間が生成したコンテンツの量はホメオパシーレベルまで薄まってしまう。
要するに、AIに与えるデータを一桁増そうとすれば、計算コストが爆発的に上がるだけでなく、データの取得コストやスクレイピングに関する新たな法的責任を考慮しなくてはならず、コストは何桁も高くなってしまう。
それで「人間が関与する」ことになる。つまり、AIのビジネスモデルは、人間のオペレータがAIの推測を細かくチェックする企業にソフトウェアを販売することなのだ。例えば、人間がAIを監視して、最終的には人間が指揮を執り、AIは人間の活動に対する永遠の”健全性チェック”の役割を果たす、というならば理にかなっている。
私の車には、死角に他の車がいるときにウィンカーを出すと警告するシステムがある。私は死角の確認を習慣づけているが、人間は誰しも完璧ではない。このアラートのおかげで危険を回避できたこともある。私はこまかい人間だが、電気を消し忘れることもあるし、寝過ごすこともあるし、誰かの電話番号（や誕生日）を忘れることもある。重要なことを決して忘れず、完ぺきにこなしてくれるロボティックな自動システムは役立つものだ。
自動化界隈ではこれを「ケンタウルス（人間と機械の融合体）」と呼ぶ。つまり、人間が頭となって、屈強なロボットの体と融合した状態だ。人間が生まれつき苦手な部分をロボットが支援する。
これが良い自動化の形だし、誰もが恩恵を受ける。しかし、ほんの少しひねりを加えるだけで、この良き自動化は悪夢に変わる。つまり、逆ケンタウルスだ。コンピュータが指揮を執り、人間を支配してジョブをこなす自動化である。Amazonの倉庫作業員は触覚ブレスレットを付けさせられ、AIカメラに常に監視され続けている。自動化された棚が彼らの目の前を移動し、彼らの心身を狂わせる機械のペースで商品をピッキング・梱包するよう要求してくる。
ケンタウルス化された自動化はすばらしい。人間を退屈な作業から開放し、創造的で満足感のある仕事に集中できるようにしてくれる。AI支援プログラミングも、厄介な構文を探したり単調なプログラミング作業をしなくて済むよう、「パイロット」の人間を創造的なコーディングに集中させる「コパイロット」AIとして売り込まれている。
しかし、幻覚持ちのAIコパイロットは、煩わしいことこの上ない。ほとんどの場合でそれなりに仕事はこなせるが、良いコードと見分けがつかないことが統計的に保証されたブービートラップも紛れ込ませてくる（まさに次の単語を推測するプログラムの仕事：統計的に最も可能性の高い単語を推測する）。
かくして、AI「支援」プログラマーは逆ケンタウルスになってしまう。AIは人間を超越したスピードでコードを量産できる。人間は、AIが間違いなく埋め込んでくるブービートラップを、完璧かつ絶え間ない監視と注意深さでレビューして、見逃さないようにしなければならない。qntmが書いたように、「新しいコードを書くことより、コードレビューのほうが難しい」のに。
それはなぜか。「他人のコードを受動的に読むだけでは、私の脳は同じようには働かない」からだ。
この現象には「オートメーション・ブラインドネス」という名前がつけられている。人間は永遠の監視には向いていない。頻繁に起こるパターンを見つけるのが得意になり過ぎて、その結果として異常を見落としてしまう。TSA（運輸保安庁）職員がX線検査で無害なシャンプーボトルを見つけるのが得意で、レッドチームが隠し持ち込んだ銃や爆発物を見逃しがちなのはそのためだ。
qntmは、これがAI支援運転でもAI支援コーディングでも同じことが当てはまると指摘する。「自動運転車は、運転体験を運転教習体験に置き換えてしまう」。
つまり、自動運転車は人間を逆ケンタウルスに追いやってしまうのだ。私の死角チェックロボットが、人間のペースに合わせて動作し、見落としたものを指摘してくれるのとは対照的に、「人間が監視役となる」自動運転車はコンピュータの狂気じみたペースで動作し、人間の監視者に、それぞれの動作を休みなく完璧に評価することを要求する。それがCruiseの殺人的な「自動運転」タクシーが、低賃金の運転手1人をクビにして高賃金の技術監視者1.5人を雇った理由だ。
AI放射線プログラムは、人間の放射線科医が見落とす癌腫瘤を発見できると言われている。ケンタウルス方式のAI支援放射線システムでは、放射線科医の人数は変わらないが、彼らの仕事の効率は落ちる。なぜなら、放射線医がX線画像を診断するたびにAIがセカンドオピニオンを出し、人間とAIの判断が異なれば、放射線医はX線画像を再評価しなければならないからだ。放射線診断の質は上がるが、コスト（AIソフトウェアの値段、プラス放射線技師の労働時間増）も上がってしまう。
AIバブルに話を戻そう。AIバブルに利益をもたらすには、人間の関与があってなおAIを購入した企業のコストを下げなくてはならない。AI企業に投資する投資家が、コスト増を甘受する企業顧客からリターンが得られると考えるはずもない。そこでAIセールスマンは、AIは人間の仕事を代替できないが人間を解雇してAIに置き換えることができる、と経営者に売り込む。この売り文句こそ、世界で最も成功したAIデマだ。
AIは乗客に間違ったアドバイスをする「幻覚を起こす」ので、人間のカスタマーサービス担当者をAIに置き換えることはできない。だが、航空会社は担当者を解雇し、チャットボットに置き換えている。
ニューヨーカーに間違った法的アドバイスをする「幻覚を起こす」AIは公共サービスを代替できない。だが、アダムス市長はニューヨーカーにチャットボットに法的アドバイスを求めるよう言っている。
- https://arstechnica.com/ai/2024/03/nycs-government-chatbot-is-lying-about-city-laws-and-regulations/
ボスがロボットを欲しがるのは、人件費を削減するためだけだ。だからこそ「AIアート」なるものが腹ただしく感じられる。フォトショップの「補正ブラシ」やディープフェイクツール、エキストラの視線やフォーカスを変更できるビデオ編集ツールなど、アート制作を自動化する無害なソフトウェアはいくらでもある。The Simsで部屋をモデリングし、カメラを動かして別の角度のトレース可能なジオメトリを作り出すグラフィック作家は、面倒な単純作業の一部をロボットに委ねるケンタウルスだ。ロボットは完璧に注意深く作業してくれる。
しかし「AIアート」企業の売り文句は、「グラフィックアーティストを解雇して、ボットのクソ（botshit）に置き換えろ」だ。彼らが売り込んでいるのは、ロボットに創造的な（ひどい出来の）仕事をすべてやらせ、人間はロボットが超人的なスピードでやらかすミスを見逃さないように、ロボットのペースに合わせてロボットのように警戒し続けなければならない世界なのだ。
逆ケンタウルス化は残酷だ。これは新しい話ではない。チャーリー・チャップリンは100年近くも前に、逆ケンタウルス問題を記録している。
例のごとく、問題は、それが何をするかではなく、誰のためにそれをし、誰に対してそれをするかである。自動化が労働者を助ける方法はたくさんある。ケンタウルスになれれば自動化の恩恵を受けられる。しかし、AIが利益をもたらす唯一の道は、逆ケンタウルス化ーーつまり、関与する人間をロボットの衝撃緩衝材にする自動化なのだ。
(Image: Cryteria, CC BY 3.0; Jorge Royan, CC BY-SA 3.0; Noah Wulf, CC BY-SA 4.0: modified)
Pluralistic: Humans are not perfectly vigilant (01 Apr 2024) – Pluralistic: Daily links from Cory Doctorow
Author: Cory Doctorow / Pluralistic (CC BY 4.0)
Publication Date: April 1, 2024
Translation: heatwave_p2p
