AnthropicのClaude Codeチームは、ソフトウェアエンジニアリングにおける重大な変化に直面しています。それは、AIエージェントによって生成されるコードの圧倒的な量です。同社の内部モノレポでは、日々の変更件数が5月に2,500件だったものが、9月には30,000件以上に急増しました。これを管理するため、チームは手動での行単位のコードレビューを主要なゲートとすることをやめ、代わりに機械が「読み取り」やルーチンチェックの大部分を実行するシステムを採用しました。その目的は、生産スピードの向上によってリバートやインシデントの増加を招くことなく、新規の課題や高リスクな問題に対して人間の時間を確保することにあります。
チームは、ほとんどの変更が人間が確認する前にAIによって検証される多層的なレビューアーキテクチャを採用しています。これには、Claude自身にテストの実行、ビルド、またはスクリーンショットの生成を行わせて自身の作業を検証させる「pre-PR」レイヤーが含まれます。自動レビュー担当者が繰り返し発生する問題を指摘した場合、チームはプロジェクトの慣習を定義する`CLAUDE.md`ファイルなどの基礎となる指示を更新し、根本的な原因を修正します。すべてのプルリクエストに対して、AIレビュー担当者がリポジトリ全体と照らし合わせて差分を評価し、変更がシステムの意図に適合しているかを確認します。これらの結果は、コメントが人間の作成者に提示される前に、バグの妥当性について「投票」を行う別のエージェントグループによって検証されます。
機械がルーチンな読み取りの大部分を実行する際に、開発者がどのようにコードベースのメンタルモデルを維持するかについてのチームの哲学をこの図は示しています。
現在、人間の介入は量ではなくリスクに基づいてスケーリングされています。分類器が変更のリスクティアを決定し、ドキュメントのような低リスクの更新は、自動チェックを通過すれば人間の承認を必要としません。キャッシュやシステムプロンプトに影響を与えるような中・高リスクの変更には、1人または2人の人間のレビュー担当者が必要となります。品質を維持するために、チームは過去のインシデントやリバートから構築された「ライブ」評価セットを使用しています。AIレビュー担当者へのすべての変更は、ノイズを最小限に抑えつつ実際のバグを確実に捉えられるよう、このセットに対してスコアリングされます。このアプローチにより、チームはマージの速度を維持し（6月から9月の間でマージされたプルリクエストの数を倍増）、同時にリバートが必要となった変更の割合を40パーセント以上削減することに成功しました。