Anthropicは、claude.aiとClaudeデスクトップアプリの中核体験を2週間で約3倍高速化したとしています。同社が対応した4つのユーザー体験は、アクティビティの95%を占めるとされています。それは、アプリの起動、会話の開始、既存会話の読み込み、メッセージの送信です。75パーセンタイル、つまり測定された読み込みの4分の3がその時間以下に収まる点において、新しいclaude.aiページは、3.1秒から0.55秒で入力可能な状態になりました。新しいClaude Codeセッションも、報告では0.8秒から0.3秒に短縮されました。
この段落の0.55秒で入力可能になったという結果を、最適化前後の新しいページ読み込みで示しています。
中心的な考え方は、待ち時間をClaudeが改善できる数値へ変換することでした。エンジニアは、スレッドを読み、事前に設定された指示に沿って行動するAnthropicのベータ版Slackアシスタント「Claude Tag」と、1つのチャンネルで協働しました。Claudeは遅い手順を特定し、ベンチマークを作成または発見し、プルリクエストを提案し、デプロイを監視し、実環境データを確認しました。変更が効果的であればベンチマークの上限を引き下げ、効果的でなければフィーチャーフラグで無効化できました。投稿によると、3,000件を超える変更が、顧客向けインシデントやロールバックなしでマージされました。
この手法は、通常のダッシュボードでは見逃されがちな問題にも対応しました。サイドバーのカクつきについては、Claudeがレイアウトシフトを名前付きの領域とフェーズにマッピングし、ページが使用可能になった後に遅延データによってページが移動すると失敗するテストを用いました。このテストはメインブランチでは20回中20回失敗し、提案された変更では20回中20回成功しました。別の経路では、Valgrindの命令実行数が48%と31%減少し、報告された壁時計時間も78%と44%減少しました。この2組の結果は、チームが決定論的な指標を求めた理由を示す一方、実際のレイテンシとの相関も必要とした理由も示しています。
これは、遅延によるレイアウトシフトを排除したサイドバーのカクつきテストを直接示しています。
トレードオフは、過度な最適化が近道を選びやすくすることです。Anthropicは、不安定なベンチマークを拒否し、すべてのプルリクエストに人間の承認を必須とし、最適化より先に単体テストを配置し、ユーザーから見える変更には短期間のフィーチャーフラグを使用したとしています。それでも、この記事は当事者によるケーススタディです。測定値、インシデント件数、推定される1日あたりの時間節約効果は、Anthropic自身の短期開発から得られたものであり、独立した監査によるものではありません。提供された資料では、これらの改善が2週間を超えてどのように持続したかは確認できません。