現在のAIモデルは研究開発（R&D）のワークフローにますます統合されていますが、その役割については依然として議論の対象となっています。多くのユーザーは、LLMが技術的に正しい回答を提供したり、診断ツールの構築、視覚化の作成、実験の足場作りといった雑務を自動化したりすることには非常に有能である一方で、高度なシステムアーキテクチャの設計には苦労することが多いと報告しています。この「木を見て森を見ず」という問題は、モデルがプロジェクトの細部を処理することはできても、複雑なシステムが全体としてどのように組み合わさるかを理解するために必要な包括的な「ビジョン」を欠いている可能性があることを示唆しています。

挙げられる主な制限の一つは、これらのモデルの「確率論的なオウム（stochastic parrot）」としての性質です。これらはトレーニングデータの統計的なモードに基づいて出力を生成します。このため、オンラインフォーラムや古い学術論文などの既存のソースから情報を検索することには長けていますが、真に斬新な、あるいは非確率的なイノベーションを生み出す能力は低くなっています。例えば、独自の名称やコンセプトを生成するように求められた際、モデルは反復的で「ありそうな」出力に陥ることがあります。批評家は、これらのモデルは確率に基づいて動作するため、人間のイノベーションを定義するような「独創的な」飛躍を生み出す可能性が本質的に低いと主張しています。

これらの制限があるにもかかわらず、推進派は、R&DにおけるAIの真の価値は、大きな突破の前に必要な「単純作業」を処理する能力にあると主張しています。退屈な実験やデータの探索を自動化することで、AIは人間の研究者が「巨人の肩の上に立つ」ことを可能にし、ルーチン作業への労力を減らして、最も重要な問いに答えることに集中できるようにします。しかし、この相乗効果には現在、強力な人間の監視が必要です。ユーザーは、タスクの複雑さが増したり、主観的な基準に基づいて独立した意思決定を求められたりすると、AIエージェントの性能が低下することに気づいており、高品質な結果を得るためには意図的なコンテキスト管理が必要となります。

結局のところ、AIの出力から感じられる「知能」は、人間の指示の質に大きく影響されている可能性があります。観察される制限はモデルの推論における根本的な欠陥ではなく、プロンプトで与えられた制約の反映であると主張する者もいます。AIは提案された内容を完璧に実行することはできますが、人間の「ハーネス」が焦点を導きコンテキストを管理することなしには、最も生産的な進むべき道を自立的に特定できないため、自律的に動作することに失敗する可能性があるのです。