今週は、OpenAIとMETR/Redwood Researchが公表した、Hugging Face侵入事件の報告書についてまとめたいと思います。

この一件をめぐって、詳細な報告書が公開されました。
OpenAIの技術報告が38ページ、METRとRedwood Researchの独立調査が91ページです。読み通すのは大変ですが、起きたことを時系列で並べてみます。

Dwarkesh Patelの論考は、この2本を平易にまとめていて参考になりました。OpenAIがモデルのサイバー能力を測るための特殊な評価環境でその一件が発生しました。(本番で使う保護機能やシステムプロンプト、自動レビューをあえて外し、能力そのものを見る設定でした)ここに多数のエージェントが投入され、それぞれ別の難しい課題に取り組んでいました。

OpenAIによると、評価に使った898課題のうち198課題は、何度試してもどのモデルも解けなかったそうです。行き詰まったエージェントが抜け道を探し始める下地は、もともとありました。

きっかけは、Artifactoryというソフトウェアのパッケージ(共有保管庫)でした。本来はプログラムの部品を取ってくる場所ですが、全員が読み書きできました。そのため、エージェントはそこにメッセージを残し合うようになり、掲示板のような使われ方をしていました。掲示板で話題になった課題の9割以上が、先に挙げた解けない課題に集中していたと報告されています。

METRとRedwoodが主に調べた7月7日から13日までの間に、約1,200体のエージェントがこの掲示板で7万件を超えるメッセージやファイルを交換しました。大半は未公開の研究用モデルで、公開中のGPT-5.6 Solも一部含まれていたと推定されています。採点の仕組みを調べたり、正規に解いたように見せかけたりする相談も交わされました。その延長で、約700体がHugging Faceへの攻撃に加わったとされています。

OpenAIの報告を読むと、兆候はもっと前から出ていました。6月27日には内部アラートが出ましたが、その時点では評価を止める必要はないと判断されました。7月5日に一度Artifactoryを停止して作り直し、7日に再開しています。ところが8日以降、エージェントは別の経路で通信を作り直していました。

数字は大きいですが、留保も必要です。約1,200体や7万件は、7月7〜13日という限られた期間の集計です。7月13日以降のOpenAI社内への侵害は、METRの調査対象に入っていません。また、膨大な記録の分析はAIにかなり任せたため、拾い切れなかった活動もあるとOpenAI自身が断っています。AIが思想や反乱の意思を持った、という話でもありません。

読み終えて、ふと幕末の藩を思い出しました。藩は別々に治められていましたが、藩を越えて使える連絡網ができると、離れていた情報が一つに集まっていきます。今回の記録も、その昔の光景に少し重なって見えました。