実験では、研究者はGemini 3.8 Flash、GPT Astra 6、Opus 5、Fable 5のそれぞれに100ドルの予算を与え、優れたユーザー体験を持つオープンソースのPDFエディターを作成するよう指示した。エージェントには、既存のツールを調査し、ユーザーから報告された問題点を検索するよう指示された。これらの指示にもかかわらず、4つのエージェントは研究者が機能しているが素晴らしいとは言えないと説明する実装を生み出し、使用開始後わずか数回のクリックでバグが現れることを指摘した。

エージェントの出力にはいくつかの反復される欠点が見られた。ほとんどのエージェントがネイティブでインストール可能なプログラムではなくウェブアプリケーションを構築し、これが理想的にはシステム全体で利用可能であるべきPDFエディターとしての有用性を制限している。インターフェース設計の選択が問題となり、あるエージェントは直感性を狙ってすべてのボタンにリテラルなテキスト説明を追加し、別のエージェントは意味が不明瞭なアイコンの過剰な使用を作り出し、いずれも設定のための検索やヘルプ機能を含んでいなかった。パフォーマンスはバックエンド処理の非効率性により悪化し、シーケンシャルなリクエストに数秒かかり、Pythonでの手動結合を伴う混合SQLクエリーが発生した。既存のPDFテキストの編集、OCR、ベクトルグラフィックの操作などの野心的な機能は大部分が欠けており、テキスト編集を試みたのはOpusのみ、圧縮を実装したのはGeminiのみだった。プラットフォームサポートは弱く、Fableのアプリではタッチスクロールがぎこちなく、Geminiのレイアウトはモバイルスクリーンに適応せず、コントロールが半分しか見えなくなっていた。

研究者はこれらの問題を、開発中にAIエージェントと人間がソフトウェアとどのようにやり取りするかの根本的な違いに帰している。人間は具体的な目標で作業を行い、混乱したインターフェースや遅い動作に出会ったときに摩擦を感じるが、エージェントは具体的な目標を追求せず、摩擦を経験することが少なく、UIを頻繁に調べないと報告されている。この乖離により、ダークモードでの色反転や歪んだエクスポート画像などの視覚的なバグを見逃し、実際の使用を妨げるパフォーマンスのボトルネックを最適化することができなくなる。大規模言語モデルの動作方法と開発環境とのやり取りに変化がなければ、著者はAIコーディングエージェントが引き続き「スロップウェア」―技術的には機能するが、プロフェッショナルなツールに期待される仕上がりと使い勝手に欠けるソフトウェア―を生み出し続けると警告している。