Voice Control for macOS

AGI Controller

常に待機し、言い終わる前に動き、判断を間違えない。macOS 用の音声コントローラー。

しくみを見る

言うこと × 起きること

日本語でも英語でも話せます。例:

「Safariを開いて」

"open Safari"

アプリやWebサイトを開く

「送信を押して」

"click log in"

画面上のボタンやリンクを押す

「こんにちはと入力して」

"type hello world into the search field"

話したとおりに文字を入力する

「東京の天気を調べて」

"search for alan turing"

Webを検索する

「一番下まで」

"scroll down a bit"

スクロールする

「左半分にして」

"put this on the left half"

ウインドウを配置する

「サイドバーを表示して」

"export as PDF"

メニューバーの項目を実行する

「ショートカットの日報を実行」

"run my morning routine"

macOSのショートカットを実行する

「違う、そっちじゃない」

"no, not that one"

直前の操作を取り消す

トリガー

fnを押して話す

トリガーは、任意のキー・修飾キー・マウスの補助ボタンに変更できます。

fn

fnを押している間

押している間だけ聞き取ります。

fnfn

fnを2回押す

ハンズフリーを開始。もう一度2回押すと終了します。

Esc

Escを押す

聞き取りをキャンセルします。

確認

あいまいなまま動かない

確信が持てないときは、動く前に確かめます。

対象があいまいなとき

候補に番号バッジを表示します。「二番」と言って選びます。

取り返しがつかない操作

送信・削除・購入・破棄・終了は、「確認」と言うまで実行しません。

間違えたとき

「違う、そっちじゃない」「戻して」で、直前の操作を取り消します。

ハンズフリー中の雑談

コマンドではない会話は無視します。

しくみ

🎙️

fnを押して話す

トリガーを押している間だけ聞き取る

📝

Mac上で文字起こし

Appleのオンデバイス音声認識を使用

🧠

JEVが確率で答える

約15個の質問に数百ミリ秒で回答

⚡

コードが判断する

実行・待つ・聞き返す・確認・無視

文字起こしが変わるたびに判断

途中までの文字起こしが変わるたびに、JEV（TypeSafeのSystem Oneモデル）へリクエストを1本送ります。JEVは約15個の型付きの質問に、較正された確率で数百ミリ秒のうちに答えます。実行する、待つ、どれかを聞き返す、確認を求める、無視する。どれにするかはコードが決めます。

自分への指示かコマンドは言い終わったかどの操作かどのアプリか画面上のどの部品か取り返しがつかない操作か

JEVは文章を生成しない

入力する文字列、URL、アプリ、画面上の操作部品は、すべてコードが候補として切り出します。JEVは候補から1つ選ぶだけで、選ばれた候補は一字一句そのまま使います。生成AIは使っていないので、話した内容が言い換えられることはありません。

文章を生成しない候補から選ぶだけ一字一句そのまま

Macの外に出るのはテキストだけ。音声は出ません。

音声はAppleのオンデバイス音声認識を使い、Mac上で文字に変換します。スクリーンショットは撮りません。リクエストはサインイン情報とともにAGI Backendへ送られ、そこからJEVに渡ります。アプリはAPIキーを持ちません。

Macの外に出るもの（テキストのみ）

話した内容のテキスト
最前面のアプリの名前、ウインドウタイトル、URL
操作部品のラベル（最大100個）とメニュー項目名（最大150個）
起動中・Dock・発話に出てきたアプリの名前
ショートカットの名前
直近3回のアクション
AGI Cockpit導入時: Cockpitのタスク名と選択肢

Macの外に出ないもの

音声
スクリーンショット
パスワード欄の内容
クリップボード
利用状況のInsights

オンデバイス音声認識音声は送信しないスクリーンショットなしアプリにAPIキーなし

機能

最前面のウインドウをmacOSのアクセシビリティAPIで読み取るので、アプリをまたいで使えます。

アプリをまたいで動く

Finder、Safari、Chrome、システム設定、DiscordなどのElectronアプリで動作を確認しています。最前面のウインドウから操作部品のラベルを最大100個読み取ります。

ノッチHUD

文字起こし、操作と対象の確率バー、番号付きの候補、レイテンシ、推定コストをリアルタイムに表示。確率バーは非表示にできます。

口述入力

テキスト欄でトリガーを押しながら話すと、コマンドを含まない文は一字一句そのまま入力されます。

日本語と英語

UIも音声も、日本語と英語に対応。第2の音声言語には別のトリガーを割り当てられます。

ショートカットとメニュー

macOSのショートカットを名前で実行。メニューバーの項目も選べます。

ウインドウ・スクロール・キー

左半分・右半分・最大化・最小化。スクロールと、決められた範囲のキー操作にも対応。

AGI Cockpit連携

AGI Cockpitをインストールしていれば、「今のタスク止めて」「B案で」と話しかけられます。

自動アップデート

アップデートはSparkleで配信されます。

AGIラボログイン

有効なメンバーシップのあるAGIラボアカウントでサインインして使います。

必要なもの

動作環境

macOS 26 (Tahoe) 以降
Apple シリコン搭載Mac
有効なメンバーシップのあるAGIラボアカウント

許可

アクセシビリティ
マイク
音声認識
入力監視（トリガーが反応しない場合のみ）

ダウンロード

macOS 26 (Tahoe) 以降 / Apple シリコン / 有効なメンバーシップのあるAGIラボアカウントが必要