La rápida integración de la inteligencia artificial en la investigación científica ha desatado un debate sobre la definición del progreso. Por un lado, los defensores de una ciencia 'centrada en el resultado' argumentan que el progreso se define por resultados verificables: una enfermedad curada o una conjetura matemática probada es un éxito independientemente de si un humano comprendió el mecanismo subyacente. Esta perspectiva sugiere que si una IA puede producir un resultado correcto que supere un certificado formal de corrección o un ensayo clínico de fase 3, el elemento humano se convierte en una preocupación secundaria. Sin embargo, los críticos argumentan que esta visión pasa por alto el hecho de que la ciencia es una práctica humana de construcción de perspicacia, que es lo que permite que los nuevos hallazgos se integren en el conocimiento existente e inspiren a las futuras generaciones de investigadores.
Este impulso hacia la ciencia automatizada tiene sus raíces en un 'ideal libre de valores' que surgió a mediados del siglo XX. Esta filosofía postula que la ciencia debería ser una aplicación impersonal de métodos, despojada de valores éticos o sociales para garantizar la objetividad. En la era de la IA, este ideal encuentra un cumplimiento tecnológico: los agentes de IA pueden ejecutar el método científico a escala, alcanzando potencialmente un punto en el que ya no se requiere el juicio humano para producir la 'verdad'. No obstante, el autor del ensayo sostiene que esta sustitución de la confianza humana por la confianza procedimental es un error. Cuando una afirmación científica es producida por un agente cuya lógica es opaca, no hay nadie a quien consultar si esas afirmaciones finalmente fallan o si la IA explota una debilidad oculta en el proceso de prueba.
El verdadero conocimiento científico depende del 'gusto epistémico' y de la socialidad: la capacidad humana de decidir qué problemas vale la pena resolver y de construir confianza a través de un lenguaje compartido. Debido a que existe un número infinito de verdades posibles, los valores humanos son necesarios para cribarlas y priorizar los descubrimientos que se alinean con las aspiraciones humanas. Además, la objetividad científica no es un logro individual, sino un proceso social de 'interrogación transformadora'. La revisión por pares y la crítica pública no son solo verificaciones de hechos automatizadas; son mecanismos para que los miembros de la comunidad se rindan cuentas mutuamente y negocien los límites de las preferencias personales. Al delegar estos roles a la IA, corremos el riesgo de una 'deriva' en la que producimos respuestas sin las preguntas correspondientes, perdiendo eventualmente la capacidad humana de juzgar qué es significativo o cómo defender los resultados que producimos.