AGIラボ
...

Voice Control for macOS

AGI Controller

常に待機し、言い終わる前に動き、判断を間違えない。macOS 用の音声コントローラー。

しくみを見る

言うこと × 起きること

日本語でも英語でも話せます。例:

「Safariを開いて」

"open Safari"

アプリやWebサイトを開く

「送信を押して」

"click log in"

画面上のボタンやリンクを押す

「こんにちはと入力して」

"type hello world into the search field"

話したとおりに文字を入力する

「東京の天気を調べて」

"search for alan turing"

Webを検索する

「一番下まで」

"scroll down a bit"

スクロールする

「左半分にして」

"put this on the left half"

ウインドウを配置する

「サイドバーを表示して」

"export as PDF"

メニューバーの項目を実行する

「ショートカットの日報を実行」

"run my morning routine"

macOSのショートカットを実行する

「違う、そっちじゃない」

"no, not that one"

直前の操作を取り消す
オンとオフ

押すキーはありません

キーを押す必要はありません。聞き取りはオンかオフかのスイッチで、オンの間はそのまま話すだけです。

オフにする

「聞き取りを止めて」

マイクを閉じます。オンに戻すときはメニューバーのアイコンから。

一時停止する

「5分休んで」

1分・5分・15分・1時間。時間が来ると自動で再開します。

名前で呼ぶ

「コントローラー、…」

名前を付けて話すと、必ずコマンドとして扱います。名前は設定で変えられます。

確認

あいまいなまま動かない

確信が持てないときは、動く前に確かめます。

対象があいまいなとき

候補に番号バッジを表示します。「二番」と言って選びます。

取り返しがつかない操作

送信・削除・購入・破棄・終了は、「確認」と言うまで実行しません。

間違えたとき

「違う、そっちじゃない」「戻して」で、直前の操作を取り消します。

周囲の会話

まず「自分宛てか」を判定します。会話や独り言、動画の音声には反応せず、何も表示しません。通話中は自動で一時停止します。

しくみ

🎙️

そのまま話す

聞き取りがオンなら、キーを押さずに話すだけ

📝

Mac上で文字起こし

Appleのオンデバイス音声認識を使用

🧠

JEVが確率で答える

約15個の質問に数百ミリ秒で回答

⚡

コードが判断する

実行・待つ・聞き返す・確認・無視

文字起こしが変わるたびに判断

途中までの文字起こしが変わるたびに、JEV（TypeSafeのSystem Oneモデル）へリクエストを1本送ります。JEVは約15個の型付きの質問に、較正された確率で数百ミリ秒のうちに答えます。実行する、待つ、どれかを聞き返す、確認を求める、無視する。どれにするかはコードが決めます。

自分への指示かコマンドは言い終わったかどの操作かどのアプリか画面上のどの部品か取り返しがつかない操作か

JEVは文章を生成しない

入力する文字列、URL、アプリ、画面上の操作部品は、すべてコードが候補として切り出します。JEVは候補から1つ選ぶだけで、選ばれた候補は一字一句そのまま使います。生成AIは使っていないので、話した内容が言い換えられることはありません。

文章を生成しない候補から選ぶだけ一字一句そのまま

Macの外に出るのはテキストだけ。音声は出ません。

音声はAppleのオンデバイス音声認識を使い、Mac上で文字に変換します。スクリーンショットは撮りません。リクエストはサインイン情報とともにAGI Backendへ送られ、そこからJEVに渡ります。アプリはAPIキーを持ちません。

Macの外に出るもの（テキストのみ）

  • マイクが聞き取った内容のテキスト（自分宛てかの判定用。「名前を呼んだときだけ」にすると送られません）
  • 最前面のアプリの名前、ウインドウタイトル、URL
  • コマンドと判定された発話でのみ: 操作部品のラベル（最大100個）とメニュー項目名（最大150個）
  • 起動中・Dock・発話に出てきたアプリの名前
  • ショートカットの名前
  • 直近3回のアクション
  • AGI Cockpit導入時: Cockpitのタスク名と選択肢

Macの外に出ないもの

  • 音声
  • スクリーンショット
  • パスワード欄の内容
  • クリップボード
  • 利用状況のInsights
オンデバイス音声認識音声は送信しないスクリーンショットなしアプリにAPIキーなし

機能

最前面のウインドウをmacOSのアクセシビリティAPIで読み取るので、アプリをまたいで使えます。

アプリをまたいで動く

Finder、Safari、Chrome、システム設定、DiscordなどのElectronアプリで動作を確認しています。最前面のウインドウから操作部品のラベルを最大100個読み取ります。

ノッチHUD

文字起こし、操作と対象の確率バー、番号付きの候補、レイテンシ、推定コストをリアルタイムに表示。確率バーは非表示にできます。

口述モード

「口述開始」と話すと、「口述終了」と言うまで、話した文を一字一句そのまま入力します。整形はしません。

日本語と英語

UIも音声も、日本語と英語に対応。「英語に切り替えて」と話せば聞き取り言語が変わります。

ショートカットとメニュー

macOSのショートカットを名前で実行。メニューバーの項目も選べます。

ウインドウ・スクロール・キー

左半分・右半分・最大化・最小化。スクロールと、決められた範囲のキー操作にも対応。

AGI Cockpit連携

AGI Cockpitをインストールしていれば、「今のタスク止めて」「B案で」と話しかけられます。

自動アップデート

アップデートはSparkleで配信されます。

AGIラボログイン

有効なメンバーシップのあるAGIラボアカウントでサインインして使います。

必要なもの

動作環境

  • macOS 26 (Tahoe) 以降
  • Apple シリコン搭載Mac
  • 有効なメンバーシップのあるAGIラボアカウント

許可

  • アクセシビリティ
  • マイク
  • 音声認識

ダウンロード

macOS 26 (Tahoe) 以降 / Apple シリコン / 有効なメンバーシップのあるAGIラボアカウントが必要