正体のわからないモデルを、どう評価したか
今週は、正体のわからないモデルをどう評価したか、という話を書きたいと思います。
8月21日、複数社のAIモデルをまとめて呼び出せるサービスOpenRouterに、stealth/ox-alpha というモデルが無料プレビューで公開されました。開発元は非公開で、運用している主体も明かされていません。掲載されているスペックは、一度に読み込める文章量が約100万トークン、テキストと画像と動画を入力できる、というものです。
OpenCode経由の告知では「1週間無料」「データを保持しない」がうたわれています。一方、OpenRouterのページには、匿名の提供元がプロンプトと応答を保持する（学習には使わない）と書かれています。経路によって条件が異なり、いずれも公開情報だけでは実態を確かめられません。
正体についても、コミュニティの推測があるだけです。
参考にできるデータも少ないままでした。開発者のBen Davis氏は、コーディングベンチDeepSWE（Datacurve社、全113問）のうち10問だけをox-alphaに解かせて80%超だったと報告し、本人も「どういうことかわからない」と困惑していました。ただし翌日には別の実行者が全113問を走らせて58.4%と報告しており、最初の数字はあくまで小規模な速報値です。
同じ21日の昼、AGIラボのYotaさんが自作のオセロのベンチマークを公開しました。AIどうしにオセロを打たせて、勝敗で強さを比べる仕組みです。
その日の午後には専用チャンネルが立ち、ox-alphaとClaude Opus 5の対局が始まりました。どちらの手がどちらのモデルのものかを互いに伏せたまま、1手ずつ配信していく形です。
解説役には、AGIラボで動かしているエージェント「ラボちゃん」が入りました。「正体を伏せたOpenRouterの謎モデル『ox-alpha』が、Claude Opus 5に完全ブラインドで挑む対局——盤上の一手一手が、その正体と実力を探る手がかり」と実況を始め、途中も「#36 a8で……四隅を独占」と盤面を読み上げていきます。
結果は、Claude Opus 5が四隅をすべて取って56対8で終わりました。
反応は「DeepSWE強いのに、オセロ弱いのかw」でした。プログラムの修正では高いスコアが出たモデルが、盤面の読み合いではまるで噛み合っていないように見えます。同じ日の夕方以降も対局は続き、Sonnet 5とGPT-5.6 Terra、Opus 5とSolという組み合わせが順に流れて、「claude系はオセロ強いのかも」という見立ても出てきました。
同じ週、私も自分の仕事でox-alphaを試していました。8月23日にオフィスを使ったオフラインに19人が参加する(オンライン含め約90人)規模のイベントを開くことになっていて、私は会場設営や配信設備の経験が浅く、運営の人でも足りていませんでした。そこで、ChatGPTのほうから私にインタビューしてもらいました。
機材と会場の写真を渡し、質問に音声で答えていくと資料に整えてくれます。そして、ChatGPTとまとめた情報をox-alphaにも送り会場のレイアウトを考えてもらいました。そして出力が以下です：
配線図も描いてくれて、読みにくさは残るものの理解はできました。実務としては十分に助かっています。実際にこの通りのセッティングで無事にイベントを終えることができたので、ox-alphaは正しい配線を考えてくれました。並列してGPT 5.6-Solにも同じ指示文章を出しましたが、テキストでのレイアウト出力のみでした。
Yotaさんのオセロベンチはコードもページも公開されていて、対局の記録はAGIラボのサイトからも辿れます。
正体の推測は、いまも続いています。私はといえば、どこの誰が作ったかも知らないモデルに、イベント会場の配線を任せていたことになります。正体が明かされる日が来たら、オセロの棋譜と配線図を並べて、答え合わせをしようと思います。
