開発者がAIコーディングエージェントをワークフローに統合するにつれて、新たな課題が浮上しています。それは、これらのエージェントがSDK、CLI、ドキュメントといった製品固有のツールを確実に発見し、使用できるかどうかです。Gaugeは「エージェント体験（Agent Experience）」を測定および改善するためのフレームワークを提供することでこの課題に対処します。このツールは、エージェントが古いAPIパターンを手に取ったり、インタラクティブなコマンドによってブロックされたり、あるいは利用可能な便利な「スキル」を認識できなかったりするような、エージェントが失敗する可能性のある特定の摩擦ポイントを特定します。
このロゴは、AIコーディングエージェントの摩擦ポイントを特定するGaugeフレームワークを表しています。
これらの問題を解決するために、Gaugeは「ヒルクライミング」ループを実装しています。これは、変更を加え、その影響を測定し、プロセスを繰り返すサイクルです。このツールは、Claude Code、Codex、Pi、OpenCodeを含む実際のエージェントを、制御された環境で製品に対して実行します。ローカルモードでは、GaugeはDockerコンテナを起動して、エージェントが定義されたタスクを試行できる新鮮なサンドボックスを提供します。その後、ツールはエージェントの行動をキャプチャし、一貫したトランスクリプトに正規化します。開発者はこれらのトランスクリプトを使用して、エージェントが正確にどこで停滞したか、あるいは制限について自信を持って誤った主張をしたかを確認できます。
この反復プロセスは、開発者とコーディングエージェントの間の協調的なものとして設計されています。摩擦を特定した後、コーディングエージェントは証拠を分析し、製品のドキュメント、ヘルプテキスト、またはコードに対する具体的な修正案を提案できます。Gaugeを使用すると、開発者は新しい成果物に対して同じタスクを再実行することで、これらの提案された修正を公開する前に検証できます。ローカル実行はプライバシーを確保し、実行ごとのコストを回避できますが、ユーザーがDockerとエージェントの認証情報を管理する必要があります。対照的に、ホスト型バージョンは管理されたインフラストラクチャを提供し、認証済みAPIやModel Context Protocols (MCPs) をサポートし、チーム向けの共有ワークスペースを提供しますが、Gaugeアカウントとクレジットの使用が必要です。
現在のツールの実用的な制限の一つは、ローカルとホスト型の機能の区別です。例えば、ローカルモードはスキルやnpmパッケージをサポートしますが、認証済みAPIや特定のカスタムユーザーペルソナにはホストモードが必要です。さらに、このツールはエージェント実行の「前」と「後」のバッチを比較するための構造化された方法を提供しますが、ローカルで複数のDockerコンテナを同時に実行する際の具体的なパフォーマンスオーバーヘッドは、ハードウェアの能力に応じて開発者ごとに異なる変数となります。最終的に、Gaugeは手動のドキュメントレビューから、ソフトウェアが次世代の自動化ユーザーにとってアクセス可能であることを保証するための、実証的なエージェント主導のテストへと焦点を移します。