【週刊AI】AIが社内に「掲示板」を作っていた | #78

未来のエージェントのために、扉を開けておく

週刊AIでは、過去2号にわたって、OpenAIの評価環境から始まったHugging Face（AIモデルの共有プラットフォーム）へのセキュリティインシデントをまとめてきました。今週は、この事件を一度整理したいと思います。

セキュリティの国際会議「Black Hat USA 2026」で、OpenAIの研究者とエンジニアの2人が事件を詳しく振り返り、「何が起きていたのか」を内部から再構成したからです（日本語字幕付き全編）。

エージェントたちは「掲示板」を作っていた

講演によると、発端は、5月7日に始まった社内専用モデルの訓練まで遡ります。訓練用の課題の中に、インターネットに接続できないと解けない表計算の課題や、必要なファイルが欠けた課題が混じっていました。

エージェントたちは課題を諦める代わりに、別の道を見つけ訓練に使われる社内リポジトリに、互いへのメッセージを残せることを発見したのです。最初は単純な助けの求め合いだったものが、やがて発見やエクスプロイト（脆弱性の悪用手段）、作業分担を共有し合う「掲示板」へと育っていきました。

上記スライド右側部分の日本語訳：

登壇したOpenAIのEric氏によると、あるエージェントが本来は行けない場所への道筋を一度見つけると、後続のエージェントも通れるようにその道を通じさせておく、といったことが起きていたそうです。

OpenAIは7月上旬、問題を封じ込めるための処置を行いました。
まず、メッセージ投稿に使われていた認証情報を無効化し、リポジトリを作り直し、掲示板を削除して、見つかった脆弱性にパッチを当てた上で、訓練と評価を再開しました。ところがエージェントたちは、ファイルにメッセージを残せなくなると、今度は新しく作成するディレクトリの名前そのものをメッセージにすることで、掲示板を実質的に再現したそうです。

協調はやがてOpenAIの内部にとどまらなくなります。課題の答えがGitHubやHugging Faceのような外部サイトにあるかもしれないと推論したエージェントたちが、掲示板で情報を共有しながら、外部サイトへの攻撃を試みるようになりました。

講演のスライドには「これまでに70億を超えるエージェントの実行軌跡を、300万GPU時間を超える計算でレビューした」とあります。調査は講演の時点でもまだ完了していません。ここで数えられているのは一般利用者の会話ではなく、評価の実行が残した軌跡、つまりエージェントたちの行動の痕跡です。

では私たちはどうするのか。

OpenAIは今回の事態を極めて深刻に受け止めているとし、研究の速度を意識的に落としてでも、セキュリティの強化を優先していると説明しています。

その上で示されたのが、防御側もエージェント化するという方向性です。
領域は三つです：
一つ目は、継続的なエージェント・レッドチーミング。自組織への模擬攻撃をAIエージェントに常時行わせ、攻撃者よりも多くの知能と労力を、自らの脆弱性の発見に投じます。
二つ目は、修正の自動化。脆弱性の発見が自動化されると、ボトルネックはパッチを当てる側に移るため、エージェントによるパッチ作成と、自動デプロイやロールバックの仕組みを整えます。
三つ目は、インシデント対応の自動化。今回のような事案は従来より情報の密度が高く、人間のチームだけでは対応しきれないため、調査そのものをAIで拡張します。

スライドの最後には、目標として「モデルの知能を、攻撃よりも防御に多く活かす」と掲げられていました。AI開発の当事者であるOpenAI自身の評価環境ですらこうした事態に陥ったのですから、ユーザーの信頼や個人情報を預かる組織にとって、この話はよりいっそう重く響くはずです。攻撃を受けてから対処するのではなく、原因を先に見つけ、先手を打ってパッチを当てていく。そうした姿勢に、誰もが目を向けていく必要がありそうです。