MotherDuck propone el 'Ingeniero de Inteligencia de Datos' para gestionar equipos de datos impulsados por IA

La tradicional 'relevo' de solicitudes de datos —donde la pregunta de un líder de marketing pasa por analistas e ingenieros antes de regresar como un tablero— está siendo alterada por agentes de IA de múltiples turnos capaces de ejecutar SQL e interpretar la lógica de negocio. MotherDuck ha propuesto un nuevo rol, el Ingeniero de Inteligencia de Datos, para gestionar este cambio enfocándose en la curaduría del contexto organizacional y la supervisión de sistemas automatizados.

Esta imagen ilustra el 'relevo' tradicional de solicitudes de datos descrito en el párrafo de apertura.

El cambio de tuberías manuales a agentes de IA

Anteriormente, los equipos de datos enfrentaban un cuello de botella significativo donde cada traspaso entre un analista y un ingeniero causaba una pérdida de contexto y un deterioro en la capacidad de actuar rápidamente. Si bien las primeras herramientas de 'copiloto' ofrecieron cierta velocidad, no eliminaron la necesidad de estos traspasos manuales.

Los avances recientes en LLMs han cambiado el panorama al permitir que los agentes realicen razonamientos de múltiples turnos. Estos agentes ahora pueden intentar una consulta, analizar los resultados e iterar sobre la lógica, haciendo que tareas como construir tableros o tuberías de dbt sean 'solicitables' mediante prompts para las partes interesadas del negocio.

Esta visualización apoya la discusión sobre cómo los LLMs realizan razonamientos de múltiples turnos para iterar sobre la lógica.

“La ingeniería de datos, independientemente de las herramientas o de quién la realice, es una función de responsabilidad.”

— The dawn of the Data Intelligence Engineer | MotherDuck

Definiendo al Ingeniero de Inteligencia de Datos

El Ingeniero de Inteligencia de Datos se define como un rol que automatiza el trabajo de los ingenieros de datos y analistas de datos tradicionales mediante la conducción de agentes de software. En lugar de construir manualmente cada tubería, estos ingenieros codifican el conocimiento del sistema en un contexto compartido, como definir qué significa 'ARR' o qué tabla específica contiene los datos de ingresos correctos.

Esta imagen proporciona una definición visual del rol del Ingeniero de Inteligencia de Datos como se describe en el texto.

Una responsabilidad central de este rol es la creación de 'evals': pruebas del sistema que validan si un agente proporciona la respuesta correcta a una pregunta conocida. Estas evals sirven como un mecanismo de confianza y una forma de detectar cuándo los datos subyacentes o la lógica fallan.

Responsabilidad y supervisión proporcional

A pesar de la automatización de SQL y la creación de tableros, los humanos siguen siendo necesarios para la responsabilidad. Un modelo puede entender SQL, pero no puede conocer inherentemente las definiciones internas específicas de una empresa ni distinguir entre tablas de apariencia similar sin un modelo de datos limpio.

Para gestionar el riesgo de errores generados por IA, el marco propone tres círculos de supervisión. El 'Wild West' permite la experimentación sin supervisión, el conjunto 'Curated' incluye tableros importantes pero no críticos, y el 'Core' contiene métricas de alto riesgo que requieren el nivel más alto de vigilancia por parte del equipo de datos.