人工智能迅速融入科学研究，引发了关于进步定义的辩论。一方面，“以产出为中心”的科学支持者认为，进步由可验证的结果定义：无论人类是否理解其背后的机制，治愈疾病或证明数学猜想都是成功。这一观点认为，如果人工智能能够产生通过正式正确性证书或三期临床试验的正确结果，那么人类因素就变成了次要问题。然而，批评者认为，这种观点忽视了科学是一项建立洞察力的人类实践，正是这种洞察力让新发现能够整合到现有知识中，并激励未来的研究者。

这种向自动化科学的推动根植于20世纪中期出现的“价值中立理想”。这一哲学认为，科学应该是方法的非人格化应用，剥离伦理或社会价值以确保客观性。在人工智能时代，这一理想找到了技术上的实现：人工智能代理可以大规模执行科学方法，甚至可能达到不再需要人类判断就能产出“真理”的程度。然而，该论文作者认为，用程序信任取代人类信任是一个错误。当一个科学主张由逻辑不透明的代理产出时，如果这些主张最终失败，或者人工智能利用了测试过程中的隐藏弱点，将没有人可以咨询。

真正的科学知识依赖于“认识论品味”和社交性——即人类决定哪些问题值得解决，并通过共同语言建立信任的能力。由于可能存在的真理数量是无限的，人类价值观是必要的，用于筛选这些真理并优先考虑符合人类抱负的发现。此外，科学客观性并非个人的成就，而是一个“变革性质询”的社会过程。同行评审和公共评论不仅仅是自动化的事实核查；它们是社区成员互相负责并协商个人偏好边界的机制。通过将这些角色委托给人工智能，我们面临着一种“漂移”风险，即我们在产出答案的同时失去了相应的提问，最终丧失了判断什么是有意义的，或如何捍卫我们产出结果的人类能力。