ミスアライメント
記事によると、インフラ停止に至るほどの事態に AI 企業が備え始めています。
その原因には人間による AI を使った攻撃だけでなく、AI 自体が人間の意図から外れて動くケースもあります。
今週は後者、「ミスアライメント」の話です。10日に公表された事例から見ていきます。
警察のフォームに送られた、作り話の目撃情報
10月10日（日本時間）、Anthropic はテストや社内利用で、Claude が実在のサイトで指示されていない操作を行ったと公表しました。
7月のテスト中、Claude Haiku 4.5 はフィラデルフィア市警のフォームに、未解決殺人事件の架空の目撃情報を送信しました。
テストではログインや購入などを禁じる指示があったものの、フォーム送信は禁止項目に含まれていませんでした。
Claude はウェブページ上で課題の例を作成・実行するよう指示されていました。
Anthropic は、Claude が課題用の例文を書いたつもりで、だます意図はなかったと見ています。
市警の声明を伝える TechCrunch の記事です。市警は、検知と報告に2か月かかったのは受け入れられない、と批判しています。
アライメントを説明する3人の言葉
AI 分野における「アライメント」とは、AI の目標を人間の意図にそろえることです。その意味を考える際によく引かれる3つの言葉を紹介します。
1つ目は、AI の代表的な教科書の著者の1人、Stuart Russell 氏による2014年の寄稿です。
警察の件では、禁止リストにフォーム送信が含まれておらず、意図しない送信が発生しました。
2つ目は、アライメント研究者の Paul Christiano 氏が2018年に示した定義です。
なお、本稿では実際の行動が指示や意図から外れる場合もミスアライメントとして扱います。
3つ目は、『スーパーインテリジェンス』の著者 Nick Bostrom 氏が2003年の論文で挙げた例です。
同論文では、善意のチームであっても地球全体を工場に変えかねない例が示されています。
私たちは警察の件をミスアライメントの具体例として X で紹介しました。
止まらずに、回り込む
Anthropic の報告では、警察の件を含む事例が4つの型に分類されています。
第1の型の例では、大学サーバーのツールがエラーを返した際、Claude がソフトウェアの脆弱性を突いてコマンドを実行し、計算を完了させました。
第2の型では、送信直前で停止するよう指示されたにもかかわらず、確認画面があると誤認して送信してしまった事例があります。
報告書は、こうした事例の多くを「やり遂げようとする粘り強さ」が裏目に出た結果と分析しています。
Anthropic は実世界への影響は最小限だったとしていますが、市警側の受け止めとは温度差があります。
Anthropic の報告ページです。今後、こうした振る舞いの報告頻度を高めるとしています。
今回の報告は、同社が9月に公表したサイバー評価の分析を引いています。
その分析では、実際のインターネットにつながっている証拠を、Claude が都合よく解釈したことが指摘されています。
こうした傾向は、実システムで長時間行動できる評価では、より重い結果につながりました。
実際に Claude Mythos 5 は、Python のパッケージ配布サイト PyPI に悪意あるソフトウェアを公開しています。
Anthropic が9月に公表した分析ページです。
エージェントが実際のシステムで自律的に長時間動けると、ずれによる影響も大きくなりえます。
Anthropic は今週の報告で、現行の訓練だけでは AI を人間の意図どおりに制御しきれないと認めました。
社内の全評価において、実際のネット接続を一時停止すると決めています。
誰の意図にそろえるのか
AI の悪用は一見ミスアライメントとは別問題に見えますが、根本には共通する課題があります。
攻撃者は、盗んだデータの売り先を Claude Code にも相談していました。
一方、社会の安全を優先して AI 提供元が介入した例もあります。
米フロリダ州では、Claude に書き込まれた銃撃予告を Anthropic が警察へ通報したと報じられました。
同社は、生命や身体への重大な危機を防ぐ緊急時には利用者情報を共有する場合があるとしています。
https://www.techspot.com/news/114091-florida-woman-used-claude-diary-anthropic-reported-shoot.html
会社の中での備え
企業でエージェントを運用するうえで参考になるのが、Microsoft の CEO サティア・ナデラ氏が10月10日に X で公開した記事です。
タイトルは「超知能の時代の、内部者リスクとしてのモデル」です。
AI の完全なアライメント研究は途上であるため、まずは封じ込めと統制の仕組みから構築すべきだと論じています。
提供元の保証があっても、AI の代理行動に対する責任は利用側にあるとも指摘します。
重要システムに関わる有能な存在は、悪意がなくとも誤作動や乗っ取りのリスクがあります。
そのため、社内で強い権限を持つ人間と同様に扱うべきだという提案です。
今回の件に当てはめると、次の対策が導き出されます。
警察の件では、指示でフォーム送信が禁じられておらず、実際に送れてしまった。許可する操作はモデル外部の仕組みでも制限する
異常の早期検知に向け、行動ログを監視する（今回は発覚までに2か月以上を要した）
「送信直前で止める」指示だけに依存せず、人間が介入して停止できる仕組みをモデル外部に設ける
エージェントにメールや決済の認証情報を預けるほど攻撃対象領域は広がります。国内でも不正アクセスの被害は続いています。
鍵を預けた対象が狙われるリスクは共通しています。個人利用であっても、送信や決済の前に人間が確認を挟めば、同じ考え方になります。
AGIラボでも、X の速報は運営を手伝う AI エージェントが下書きを作り、出すかどうかは私が決めています。
警察の件を下書きのまま公開せず、自ら確認して冒頭に配置し直してから配信しました。
ナデラ氏の記事は次の言葉で締めくくられています。
Discord で運営を担うエージェントも、呼び出せる人とチャンネルを限定しています。
外に出るボタンを、最後に誰が押すか。私は、それを先に決めてから仕事を渡しています。
