BigArrowは、AIエージェントがmacOS画面上にクリック可能な矢印、ボックス、テキストをオーバーレイ表示するためのCLIを提供する小さなSwiftバイナリです。GitHubのREADMEによると、このツールはデーモン、メニューバーアイコン、テレメトリーを使用せず、エージェントのプロセスが終了するとオーバーレイを自動的に削除し、キーボードフォーカスを奪わないようにしています。

'click here', 'sign here', 'over here', 'type your name', 'read this first', 'click Allow' といったテキストラベル付きのBigArrow矢印を示すスクリーンショット
様々な指示テキストラベルを表示するBigArrowの矢印github.com

BigArrowがカスタマイズ可能なテキスト付きの矢印をオーバーレイし、画面上の特定のアクションにユーザーを誘導する方法を示しています。

このソフトウェアは、いくつかのターゲティング方法をサポートしています。エージェントはアクセシビリティラベル(例:`bigarrow point --element Allow --app System Settings`)、画面座標(`--at X,Y`)、またはウィンドウ/タブタイトル(`--window Safari:Inbox`)によってインターフェース要素を指し示すことができます。さらに、形状(直線、ジグザグ、スパイラル)、スタイル(矢印、リング、ボックス)、サイズ(S/M/L)、色、ボーダーエフェクトなどの幅広いスタイルオプションを提供し、ラベルを音声で読み上げるオプションの`--say`フラグも用意しています。

異なるスタイル、形状、サイズ、色を表示するBigArrow矢印のコラージュ
スタイル、形状、サイズ、色のバリエーションを示すBigArrowギャラリーgithub.com

直線/ジグザグ/スパイラルの形状、矢印/リング/ボックスのスタイル、S/M/Lサイズ、複数の色選択を含むBigArrowオーバーレイの幅広いカスタマイズオプションを示しています。

BigArrowはほとんどのmacOS UI要素で機能しますが、ラベルベースのターゲティングと`--until-click`機能を使用するためにはアクセシビリティの許可が必要であり、Chromeが`--force-renderer-accessibility`で起動されているかVoiceOverが有効になっていない限り、Chromeのウェブページ要素とのインタラクションはできません。このツールは意図的にクリックや入力を行わず、単に指し示すだけで、実際の操作は人間のユーザーに任されています。

macOSダイアログウィンドウのAllowボタンを指し示すBigArrowのアニメーション
システムダイアログのAllowボタンを示すBigArrowのGIFgithub.com

このツールがユーザー操作のためのダイアログボタンなどのmacOSインターフェース要素をハイライトできる能力を示しており、アクセシビリティの許可が必要です。