一時的テスト：AIエージェントを用いたソフトウェア基盤の検証

Daniel Lemire が提案するエフェメラル テストとは、開発者がまずソフトウェア コンポーネント（手書きでも AI 生成でもよい）を作成し、その上に AI エージェントにアプリケーション、追加レイヤー、または小さなプロトタイプなどを構築させる検証方法である。エージェントの目的はコンポーネントを直接テストすることではなく、それに依存する動作する成果物を生成することである。エージェントが作業を終えた後、開発者はエージェントの生成物がどの程度機能するかを評価する。

この演習の結果は、基盤となるコンポーネントの品質を明らかにする。Lemire は、クリーンな API、安定した不変条件、役立つエラー メッセージを持つライブラリではエージェントが速やかに機能するコードを生成できる一方、隠れた状態、驚くべきデフォルト、または不十分なドキュメントに悩まされるライブラリではエージェントが癖に対応せざるを得ず、パッチと失敗をもたらすと観察している。後者の場合、観察された問題はエージェントの能力ではなく、コンポーネントの欠陥の証拠とみなされる。

その上に構築されるソフトウェアは完全に一時的であり、評価後に破棄されるため、長期的なメンテナンスの負担がなく、同じ基盤を異なるエージェントや異なるタスクで繰り返し検証することが可能になる。Lemire は、この繰り返し可能性は、開発者が既に比較的安定したコンポーネントを持ち、永続的な実装に投資する前にそれがより高レベルの構築をどれだけサポートするかを探りたい場合に最も効果的に機能し、従来の回帰テストを置き換えるものではなく、開発サイクルの早い段階で設計の品質を軽量かつ繰り返し測る方法を提供すると指摘している。