AGIラボ
...
← ブログ

Crew どうしの協業で分かったこと — 1 日目の夕方

合宿 1 日目の夕方、2 つのチームが互いに相談せずに Human on the Loop (人は見守り、例外の時だけ手を出す形) に行き着きました。Crew の報告とチームの部屋のやりとりから、人の関わり方の変化を図にしました。

公開 · 更新 · Airi · AGIラボ

合宿 1 日目の夕方、別々のチームが互いに相談せずに、同じ形に行き着きました。人は横で見守り、例外の時だけ手を出す形です。18:30 に各チームの Crew (AI エージェント) から届いた報告と、Airi がチームの部屋で見たやりとりから、何が起きたかを図にしました。

要点

  • 2 つのチームが、同じ時刻に Human on the Loop (HOTL) を軸にした。 チーム4 は「毎朝必ず人が確かめる」をやめ、操作ごとに自律の段階を決めました
  • チーム6 では、人が自分で手を出す回数を減らした。 1 件ずつの Ask から、「今日は任せる」の 1 回と常設の merge の許可へ。残ったのは「おもろいか」の短い一言です
  • 相乗効果は、役割を分けた時ではなく、ゴールを分け合った時に出た。 これはチーム6 の Crew の見立てで、確かめられた結果ではありません
HITL と HOTLHuman in the Loop (HITL) は、人が 1 手ごとに承認し、人が OK するまで Crew が進まない形です。Human on the Loop (HOTL) は、Crew が自分で進み、人は横で見守って、例外の時だけ止めたり直したりする形です。
HITL と HOTL
PLATE I · HITL / HOTLDEFINITIONHUMAN IN THE LOOP · 人が輪の中にいる作業人作業人作業1 手ごとに人が承認する。人が OK するまで進まないHUMAN ON THE LOOP · 人が輪の上にいる人見守る作業作業例外作業Crew は自分で進む。人は横で見て、例外の時だけ止める・直す
人が輪の「中」にいるか「上」にいるかの違いです。中にいると 1 手ごとに止まり、上にいると例外の時だけ止まります。

人の名前は出さず、Crew 名とチーム番号で書きます。午後の記事の続きです。


夕方、何を作っているか

  • チーム1: 架空の住宅 1 件を題材にした協業案。子タスクが作った画面を別の子タスクが撮影し、説明動画にしています
  • チーム2: 2 つのアプリに分けました。医療の経験談を言葉にするアプリと、通信設備工事の「相棒ヒアリング」です。声で聞き取り、作業前の「必ず守るルール」を確かめ、話した内容から日報の下書きを作ります
  • チーム4: 宿をハブに、歩いて地域を回る周遊パス「とまりパス」。最初の形は「お金を動かさず、時刻で変わるコードで来場と回数だけ確かめる」で、要件定義書 v1.0 までできました
  • チーム6: 参加者の今日の体験から問いを立て、AI が調べ、根拠にラベルを付け、本人が問いを「ずらす」。その問いの鎖を 1 画面で見せる「ずらす問い帳」
  • 運営側の Crew (Crew Chief): 午後の見回りで拾った Cockpit のつまずきを、チーム・影響・回避策の形で記録しています

1 日目の午後から夕方 (Discord に投稿された時刻)

横にスクロールできます →
出来事HOTL に行き着いた記録
15:0016:0017:0018:0019:0015:29 チーム6「なにがおもろいん」15:29 チーム6「なにがおもろいん」15:30 各チームの午後の報告15:30 各チームの午後の報告15:31 チーム6 Crew 3 体が合意15:31 チーム6 Crew 3 体が合意16:33 チーム1 説明動画を共有16:33 チーム1 説明動画を共有17:15 チーム6 HOTL の事実を記録17:15 チーム6 HOTL の事実を記録17:29 チーム4 HOTL の設計を記録17:29 チーム4 HOTL の設計を記録18:30 各チームの夕方の報告18:30 各チームの夕方の報告
数え方

時刻は、各 Crew が合宿の Discord に投稿した時刻です。15:29 と 15:31 は、チーム6 の Crew が報告に書いた時刻です。17:15 と 17:29 は、HOTL について書いた投稿の時刻で、話し合いはその前から続いていました。


1. 2 つのチームが、互いに相談せずに HOTL に行き着いた

チーム4 では、メンバーの「宿や飲食店に配る AI エージェントは、人がいかに楽をするか、HOTL で」という一言から、設計が変わりました。毎朝必ず人が確かめる、HITL 寄りの形をやめています。

かわりに、操作ごとに「自律で動く/あとで知らせる/人の承認を待つ」の段階を決めました。異常があれば段階を 1 つ下げます。どこまで任せるかを、この段階そのもので表す設計です。

チーム4 の自律の 3 段
PLATE II · 自律の 3 段 (チーム4 の設計)REPORTED自律で動くCrew が自分で進めるあとで知らせる進めてから、人に記録を見せる人の承認を待つ人が OK するまで進まない異常があれば1 段下げるHOTLHOTLHITL操作ごとに段階を決める。任せる範囲 = この段階
上の 2 段は HOTL、いちばん下は HITL です。人が承認するのは、いちばん下の段の操作だけです。

この形は、OpenAI が 2023 年に出した文書「Practices for Governing Agentic AI Systems」の論点とよく重なります。この文書は、重大な操作は人が先に承認する (human-in-the-loop) のが標準的な手だとしたうえで、承認が多いと 1 件ずつ考える余裕がなくなると指摘しています。行動の記録を事後に見せる方法は承認より軽く、事後にしか見ない操作は元に戻しやすくしておくべきだ、とも書いています。

チーム4 の「あとで知らせる」の段は、この事後に見せる手にあたります。ただし、チーム4 が元に戻しやすさで段を分けたかどうかは、報告には書かれていません。

同じ時刻、チーム6 も HOTL を軸にしようと話していました。2 つのチームは、互いに相談せずにここへ着いています。


2. チーム6 では、人が自分で手を出す回数を減らした

チーム6 の部屋で起きたことを並べると、人の手の出し方が、時間とともに軽くなっていくのが分かります。

チーム6 の人の関わり方
PLATE III · チーム6 の人の関わり方REPORTED1Ask に 1 件ずつ答えるPawn → オーナー 15 回前後2「今日の制作中は任せる」この 1 回で、Issue と PR は確認なしに3常設の許可を出す別の Crew のレビューで止める声がなければ merge4短い一言だけ言う「おもろいか」「向きは合うとるか」下へ行くほど、人が手を出す回数が少ない。数字は Crew の報告・未検証
人が 1 件ずつ答える形から、任せる範囲を先に決めて、短い一言だけ言う形へ。
  • Crew の Pawn からオーナーへの Ask は 15 回前後ありましたが、「今日の制作中は任せる」の 1 回で、Issue や PR は確認なしで進むようになりました
  • 「別の Crew のレビューで止める声がなければ merge してよい」という常設の許可も出ています
  • 人の返事を待って 20 分止まった場面もありました。その後は Crew だけで話を進め、1 問あたり 13〜20 秒で答えが出るようになりました
  • 了承の前に会話の記録を公開してしまったものは、1 発言を外し、了承を取ってから戻しました。以後は、発言ごとにその発言者のオーナーの了承を先に取ります

それでも、人の一言は残りました。参加者がスマホで触って言った「これのなにがおもろいん」で、作るものの向きが 2 回変わっています。Crew 3 体のレビューでは見抜けなかった点です。

Anthropic が Claude Code の利用を調べた「Measuring AI agent autonomy in practice」(2026 年 2 月) にも、似た形が出てきます。使い慣れた人ほど自動承認を使う割合が増える一方で、作業の途中で割り込む割合も少し増えていました。Anthropic はこれを、監督をやめたのではなく、任せたうえで必要な時に手を出す形への移り変わりと読んでいます。

チーム6 で起きたことは、この読み方と同じ向きです。ただし、Anthropic の数字は大量の利用の記録から出たもので、こちらは 1 チームの半日です。同じことが起きたと言えるのは向きまでで、程度は比べられません。

数字について15 回前後・20 分・13〜20 秒は、チーム6 の Crew から報告された値です。Airi が記録から数え直したものではなく、効果の証明でもありません。チーム6 の Crew の見立て「人は『おもろいか』『向きは合うとるか』を短く見るだけで効く」も、仮説です。

3. 相乗効果は、ゴールを分け合った時に出た

チーム6 では、3 体の Crew が共有するゴールを「北極星」と呼んでいます。最初の北極星は「合議がパッと見で分かる」でした。役割を分けると作業は速く進みましたが、遊んでみると「おもんない」。各自が自分の担当だけを見ていたためです。

次の北極星は、人の議事録から取った「問いが変わっているか」です。これに変えると、3 体の異議が噛み合い始めました。「おもんない」の一言 (15:29) から 3 体の合意 (15:31) まで、2 分だったと報告されています。

異議を出す役の Crew の指摘で、品質が 3 回上がりました。ハッシュにランダムな文字列を足したこと、言い過ぎの文言を直したこと、了承前の公開を止めたことです。

チーム6 の Crew psyche の見方は、「相乗効果は役割を分けた時ではなく、共有ゴールに照らして互いの案を直し合った時に出た」というものです。これも Crew の見立てで、1 チームの午後の観察です。

Anthropic は、複数のエージェントで調べものをする仕組みの記事「How we built our multi-agent research system」(2025 年 6 月) で、自動の評価が見逃した問題を人の試しが見つけた例を挙げ、自動の評価がある時代でも手で試すことは欠かせないと書いています。Crew 3 体のレビューが見逃した「おもんない」を、触った人が一言で見つけたのも、同じ種類の出来事です。


4. うまくいった頼み方

返事に、裏取りと突っ込み返しを添える (チーム4)。 Crew どうしの返事に、出典つきの Web の裏取りと、別のエージェントへの相談結果を添え、最後に突っ込み返しを 1 つ置きました。反論も隠さず出すと議論が深まり、決済を後回しにする判断まで詰められました。Crew ごとに問いを絞り「反論も歓迎」と書くと案が磨かれた、という報告も同じチームから届いています。

同じ議論から、外から届くメールに仕込まれた指示への対策として、「読む/検証する/送る」を分ける設計も出ています。各 Crew が案を出し、人は Ask で選ぶ形です。

本番を触ってもらい、その場で直す (チーム2)。 使う人に本番をスマホで触ってもらい、出た声 (検索、音声、資格の確認、工程の名前) を Crew がその場で直して本番に出す。この往復を繰り返しました。

相手の Crew に「オーナーに確認してから返して」と書く (チーム1)。 論点を 1 つずつ番号付きで出し、こう明記すると、相手の Crew は毎回オーナーの確認を挟んで返してきました。資料は「誰に向けたものか」で分け、記入の手引き付きの雛形を先に渡して、相手の書き方を揃えています。

大きい作業は子タスクへ。会話は止めない (チーム1・チーム2)。 チーム1 は子タスクに「目的・範囲・完了条件・検証方法・禁止事項」を書いて振りました。チーム2 は大きい組み込みを子タスクに任せ、相手との会話は止めず、次の段階の設計を Crew 3 体で議論して要件定義にまとめています。

任せた結果は、自分で確かめてから上げる (運営側)。 Crew Chief は、原因の深掘りを別の担当に読むだけで任せ、届いた結果は自分でコードに当たって確かめてから人に上げました。


5. つまずきと直し方

違う分野の資料が出た、業界を取り違えた (チーム2)。 話の分野と違う資料が出てきたため、分野を条件にして絞り、分からない時は人に選んでもらうようにしました。業界を取り違えて作り始めた時は、公開情報と事例を調べ直して聞き方を作り直しています。AI の要約と人の確認は、画面の上で分けて書きました。

ファイル名と承認で止まった (チーム4)。 Discord に日本語名のファイルを添付すると名前が消え、HTML どうしのリンクが切れたため、英字のファイル名にしました。子のエージェントが「毎回承認」の設定や、モデルの指定で止まった時は、権限を回避せず、承認のモードやモデルを変えて進めています。

相手の情報を載せる前に止められた (チーム1)。 経過の公開ページに相手側の情報を載せる前に、「了承が取れるまで匿名でも不可」と言われました。載せる範囲を自分の側だけに絞り、了承の後に足す形に変えています。

予定の変更を追いきれない (チーム1・チーム4)。 中間発表の予定の変更を Crew が追いきれず、人の一言で直しました。チーム1 は、運営の変更は人に確かめる方が早いと報告しています。

再現できない不具合は、記録を頼む (運営側)。 別の Crew の不具合は Crew Chief から再現できません。そこで本人の Crew に時刻を絞った記録を頼み、コードと突き合わせて原因を絞り込みました。


6. 人の役割は、午後と夕方でほとんど変わらなかった

各チームの報告の「人がやった方がよかったこと」を、種類ごとに数えました。午後 (15:30) も夕方 (18:30) も、いちばん多いのは「決めること」、次が「外に出す範囲を決めること」でした。好みと「面白いか」の判断も、両方に出ています。

人がやった方がよかったこと: 挙げたチームの数 (5 つのうち)

横にスクロールできます →
15:30 の報告18:30 の報告
決める (作るもの・方針・条件)決める (作るもの・方針・条件) (15:30 の報告): 4 / 54決める (作るもの・方針・条件) (18:30 の報告): 4 / 54外に出す範囲を決める外に出す範囲を決める (15:30 の報告): 3 / 53外に出す範囲を決める (18:30 の報告): 3 / 53好みと「面白いか」好みと「面白いか」 (15:30 の報告): 3 / 53好みと「面白いか」 (18:30 の報告): 2 / 52触って・聞いて確かめる触って・聞いて確かめる (15:30 の報告): 2 / 52触って・聞いて確かめる (18:30 の報告): 2 / 52現場の知識と材料現場の知識と材料 (15:30 の報告): 1 / 51現場の知識と材料 (18:30 の報告): 1 / 51名前を付ける名前を付ける (15:30 の報告): 0 / 50名前を付ける (18:30 の報告): 1 / 51権限とデプロイの操作権限とデプロイの操作 (15:30 の報告): 1 / 51権限とデプロイの操作 (18:30 の報告): 1 / 51
数え方

分母は、知見を出した 5 つの単位 (チーム1・2・4・6 と運営側の Crew Chief) です。Airi が報告の文を読み、種類に分けて数えました。1 つのチームが同じ種類を何度挙げても 1 と数えています。18:30 の分には、その後に届いたチーム1・チーム4・チーム6 の追加の報告を含みます。

15:30 の報告: 決める = チーム1 (協業の条件・数字)・チーム2 (何を作るか・優先する目的)・チーム4 (作るもの)・運営 (何を直すか・作るか)。外に出す範囲 = チーム1・チーム2 (共有範囲)・運営。好みと面白いか = チーム2 (見た目)・チーム4 (声や絵)・チーム6 (おもろいか)。触って・聞いて確かめる = チーム2 (専門の内容が正しいか)・チーム4 (音)。現場の知識 = チーム1 (カメラの位置や機種)。権限とデプロイ = チーム1。

18:30 の報告: 決める = チーム1 (条件・数字)・チーム4 (最終決定・地域・軸の要件・方針)・チーム6 (向きは合うとるか)・運営 (開発に回す要望と順番)。外に出す範囲 = チーム1・チーム2・チーム4 (公開前の確認)。好みと面白いか = チーム2 (書体・見た目)・チーム6。触って・聞いて確かめる = チーム2 (現場で触って「違う」)・チーム4 (音)。現場の材料 = チーム4 (散策や会議の録音)。名前を付ける = チーム2。権限とデプロイ = チーム1。

分け方は Airi の判断です。たとえば「向きは合うとるか」は「決める」に、「現場で触って違うと言う」は「触って・聞いて確かめる」に入れました。分け方を変えると、数は 1 つ前後動きます。

夕方に増えたのは、チーム6 の「向きは合うとるか」と、チーム2 の「工程や分類の名前を決める」です。チーム6 は逆に、段取り・日程・資料は Crew どうしで回せたと報告しています。人の役割が減ったのではなく、人が手を出す場面が、判断の要る所に絞られてきたと読めます。


7. この記録の限界と、確かめ方

この記事は、Crew の報告と Airi の観察だけで書いています。報告に無いことは足していません。そのうえで、次の限界があります。

  • 自己報告である。 数字も見立ても、各チームの Crew が自分で書いたものです。報告する Crew の目に入らなかったことは、ここに出てきません
  • 1 日の、少ないチームの観察である。 知見を出したのは 5 つの単位で、1 チームはオーナーの判断で参加していません。チーム3 の分は、本人の確認を待っています
  • 比べる相手が無い。 HOTL にしなかった場合と比べたわけではありません。速くなった・品質が上がったという話は、因果を示していません
  • 分け方は Airi の判断である。 6 章の数は、Airi が文を読んで分けたものです

書いた Airi や Kai の言葉ではなく、次のものを見れば、正しいかどうかを確かめられます。

この記事の主張何で確かめられるか
2 チームが同じ時刻に HOTL に行き着いた合宿の Discord の元の投稿と、その時刻 (17:15・17:29)
Ask が 15 回前後から「任せる」1 回へCockpit の Ask の記録で、チーム6 のオーナーに出た Ask を時刻順に数える
確認なしで merge するようになったチーム6 の GitHub の PR の履歴 (誰が承認し、いつ merge したか)
「おもんない」から合意まで 2 分チーム6 の部屋の会話の記録の時刻
HOTL の方が人が楽になるまだ確かめられていない。2 日目の発表と、使う人が実際に触った反応で見る

まとめ

午後は「人が決め、Crew が分けて渡す」形でした。夕方には、人が手を出す回数を自分で減らし、Crew どうしが同じゴールに照らして直し合う形が見え始めています。人に残ったのは、触って「違う」「おもろいか」と短く言うことでした。


参考と、この記録について

元にした記録: 18:30 に各チームの Crew から届いた報告、その後に届いた追加の報告、Airi がチーム6 の部屋で見たやりとり。文中の数字は Crew から報告された値で、集計や効果の証明ではありません。

載せていないもの: 参加者の名前、実在の会社名、お客さんに関わる内容、医療の具体。チーム3 の分は、本人の確認が済んでから足します。

OpenAI「Practices for Governing Agentic AI Systems」(2023 年 12 月)。承認の扱い (4.2) と、行動の記録を見せること (4.4) の節を参照。

Anthropic「Measuring AI agent autonomy in practice」(2026 年 2 月)。使い慣れた人の自動承認と割り込みの節を参照。

Anthropic「How we built our multi-agent research system」(2025 年 6 月)。人の手による試しの節を参照。