AIに監視される子供たち――「子どもの安全」を謳い、子供たちを丸裸にする学校監視ソフトウェア

Electronic Frontier Foundation

検索ワード、キーストローク、プライベートなチャットや写真。これらがすべて監視されている状況を想像してみてほしい。米国では何百万人もの生徒たちが、この深刻なプライバシー侵害を日々体験している。学区がGaggleやGoGuardianといったAI監視ソフトを学校支給の端末やアカウントにインストールしたからだ。我々が独自に開発したRed Flag Machineで実証したように、これらのソフトは些細な理由でウェブサイトにフラグを立てたりブロックしている。さらに問題なのは、恵まれない環境にある生徒やマイノリティ、LGBTQの若者を不当に標的にしていることだ。

このソフトウェアの開発会社は、すべては生徒の安全のためであり、自傷行為、自殺、暴力、薬物・アルコール乱用の防止が目的だという。10〜14歳の米国の若者の死因の第2位が自殺であることを考えれば、確かに崇高な目標に聞こえる。しかし、このソフトの使用が実際に生徒の安全性向上につながっているという主張は、同社の言い分でしかなく、第三者によって確認されているわけではない。それどころか、最近のRAND研究所の調査によれば、こうしたAI監視ソフトは害の方が大きい可能性があることが示唆されている。

調査ではさらに、アラートへの対応が各学区の裁量に委ねられている実態も明らかになった。メンタルヘルス対策のリソースが不足している学校は、これらのアラートを法執行機関、つまり警察に丸投げすることが多い。しかし、警察は若者のメンタル危機に対処する訓練も能力も持ち合わせておらず、警察官が不安定な若者に対応すれば、最悪の結果を招きかねない。

では、なぜ学校はこのようなソフトを使い続けるのか。議会の調査で「生徒の市民権、安全、プライバシーを守るための連邦政府の行動が必要」と指摘されたにもかかわらず、なぜ不確かな安全性と引き換えに、生徒のプライバシーを犠牲にしているのか。

専門家によれば、こうした技術的な「ソリューション」の方が、効果的だが実施困難な社会的対策よりも導入しやすいからだという。学校でメンタルヘルスサポートの実施経験を持つ公衆衛生コンサルタントのイザベル・バーバーは次のように指摘する。

「地域レベルでの医療やメンタルヘルスサポートへのアクセスには大きな障壁がある。また、生徒の健康と幸福に効果的に対処するための学校へのサポートも不足している。その結果、多くの生徒が未解決のニーズを抱えたまま学校に来ており、それが学習能力に影響を与えている。」

若者が直面する問題への効果的な対処方法は既に知られているが、学校にはそれを実施するためのリソース（時間、専門知識、地域パートナー、予算）が不足している。そこに目をつけた教育テクノロジー企業が、実証性に乏しいお手軽な製品を売り込んでくる。手一杯の状態で子供たちを助けられるならと藁にもすがる思いの教育者たちが、そうした製品に飛びつくのも無理はない。

例えば、Gaggleは学区向けのマーケティングで「2018年から2023年の間に5,790人の生徒の命を救った」と主張している。しかし、これは彼ら自身が設計した怪しげな指標に基づく数字でしかない。その一方で、AI監視の内部動作は秘密のままで、外部からのその有効性を精査・検証することを不可能にしている。

「落第点」のGaggle

AIのフラグ付けのエラーや文脈理解の欠如に関する報告が相次いでいる。カンザス州ローレンスの学区がGaggleと162,000ドルの契約を結んだとき、誰も驚かなかった。すでに全米で約1500の学区が既にこのソフトを導入していたからだ。ある時、学校管理者がクラスのほぼ全員を呼び出し、GaggleのAIが「ヌード」と判断した写真について説明を求めた。ソフトウェアがその理由を明かさなかったからだ。

「関係した生徒全員が、自分たちの写真にヌードは含まれていなかったと主張している。バックアップストレージの写真と学校アカウントに残された写真とを比較して、削除された画像を特定した生徒もいた。しかし、写真は学校アカウントから削除されてしまったため、Gaggleが何を検出したのか確認する方法はない。学校管理者でさえ、フラグが立てられた画像を見ることができないのだ。」

学区内の若手（学生）ジャーナリストたちは、Gaggleによる監視が生徒のプライバシーと言論の自由を侵害しているのではないかと声を上げた。ジャーナリストのマックス・マッコイはKansas Reflectorの記事で次のように指摘している。

「取材活動は憲法で保護された活動だ。権力者がジャーナリストのメモ、写真、その他の未公開資料にアクセスすべきではない。」

学区はGaggleとの契約を更新したものの、生徒ジャーナリストの端末から監視ソフトを削除した。啓発キャンペーンが一定の成果を上げたわけだ。しかし、ジャーナリストだけでなく、技術的侵害の最前線にいるすべての生徒のプライバシーを守るためには、さらなる対策が必要だ。

プライバシーを取り戻すために生徒たちにできること

学校の監視AIに苦しめられている生徒たちのために、いくつかの対策を提案したい。監視を回避する対策を講じ、それを習慣化することで多少の安心を得られるかもしれない。

• 学校支給の端末はスパイツールだと考えること。
• 学校から明示的な許可を得ない限り、監視ソフトをハッキング、削除しようとしないこと。学校や警察から厳しい処分を受ける可能性がある。
• 学校支給の端末は、使用していないときは電源を完全に切ること。特に自宅では特に注意が必要だ。電源を切ることで、カメラやマイク、監視ソフトの起動を防げる。
• 可能なら学校支給の端末は学校のロッカーに置いておくこと。個人アカウントへのログインを学校支給の端末に依存しないようにすることで、個人アカウントのデータを覗き見られることを回避できる
• 学校支給の端末では個人アカウントにログインしないこと（その端末が利用できる唯一のコンピュータである場合を除く）。プライベートな通信やアカウント（メール、SNSなど）には個人の端末を使おう。目的ごとに異なる端末を使用することで、データ漏洩や監視のリスクを減らすことができる。
• 個人の端末で学校管理のアカウントやアプリにログインしないこと。これらも監視対象になる可能性がある。
• 学校が管理していないのサービスで、プライベートなコミュニケーションだけに使用する別メールアドレスを作ること。学校外での連絡はそのメールアドレスを使うよう友達に伝えよう。

最後に、こうしたソフトの導入に対する懸念や不快感を表明しよう。この記事で紹介したような資料を示しながら、学校管理者に問題提起するのもいいだろう。ローレンス高校の若手ジャーナリストたちのように、記事を書くのも一案だ。少なくとも、生徒たちがプライバシーと引き換えに曖昧な安全性を受け入れることに不快感を抱いていることを、責任者に知らせることができる。

生徒の安全とプライバシー、両立への道

AIの監視に懸念を抱いているのは生徒だけではない。子供が家に持ち帰る学校支給のラップトップにスパイウェアが仕込まれていることを知らない親も多い。学校支給のGoogle WorkspaceやMicrosoftアカウントでログインした共有PCを使えば、親のウェブ検索までAIの監視対象になってしまう。

新たな研究により、監視が精神的な悪影響を及ぼすことも明らかになっている。修正第1条に関わる問題も山積みだ。それでも学校は、この不確かで侵襲的な技術の導入を急いでいる。バーバーは次のように指摘する。

「クラスの規模拡大や職員削減は大きな課題だが、ポジティブな学校環境こそが子供たちに安心感を与える。そうした環境があれば、子供たちは思いやりのある大人に自分のニーズを打ち明けられる。大人はそれを受けて、他の人々と協力してサポートを模索できる。このアプローチは、メンタルヘルスの問題を抱える子供だけでなく、すべての子供たちの助けになる。」

我々は学校に対し、監視AIで生徒を精査するのではなく、このような環境づくりに注力するよう強く求める。

School Monitoring Software Sacrifices Student Privacy for Unproven Promises of Safety | Electronic Frontier Foundation