MotherDuck、AI駆動のデータチームを管理する「データインテリジェンス・エンジニア」を提唱

マーケティングリーダーの質問がアナリストやエンジニアを経由してダッシュボードとして返ってくるという、従来のデータリクエストの「リレー」は、SQLを実行しビジネスロジックを解釈できるマルチターンAIエージェントによって破壊されつつあります。MotherDuckは、組織のコンテキストのキュレーションと自動化システムの監視に焦点を当てることで、この変化を管理する新しい役割として「データインテリジェンス・エンジニア」を提唱しました。

この画像は、冒頭の段落で説明されている従来のデータリクエストの「リレー」を例証しています。

手動パイプラインからAIエージェントへの移行

以前、データチームはアナリストとエンジニアの間のあらゆる引き継ぎにおいて、コンテキストの喪失と迅速な行動能力の低下を招く大きなボトルネックに直面していました。初期の「コパイロット」ツールは一定のスピードを提供しましたが、これらの手動の引き継ぎの必要性を排除するものではありませんでした。

近年のLLMの進歩は、エージェントがマルチターン推論を実行できるようにすることで、状況を一変させました。これらのエージェントは現在、クエリを試行し、結果を分析し、ロジックを反復させることができ、ダッシュボードの構築やdbtパイプラインの作成といったタスクをビジネス関係者が「プロンプト可能」なものにしています。

この視覚資料は、LLMがロジックを反復させるためにどのようにマルチターン推論を実行するかについての議論をサポートします。

「データエンジニアリングは、ツールや担当者が誰であれ、責任を果たすための機能である。」

— The dawn of the Data Intelligence Engineer | MotherDuck

データインテリジェンス・エンジニアの定義

データインテリジェンス・エンジニアは、ソフトウェアエージェントを運用することで、従来のデータエンジニアやアナリティクスエンジニアの仕事を自動化する役割として定義されます。すべてのパイプラインを手動で構築する代わりに、これらのエンジニアは、何が「ARR（年間経常収益）」を意味するのか、あるいはどの特定のテーブルに正しい収益データが含まれているのかを定義するなど、共有コンテキストにシステム知識をエンコードします。

この画像は、本文で説明されているデータインテリジェンス・エンジニアの役割を視覚的に定義しています。

この役割の主要な責任の一つは、「evals（評価）」の作成です。これは、エージェントが既知の質問に対して正しい回答を提供するかどうかを検証するシステムテストです。これらのevalsは、信頼性のメカニズムとして機能し、基礎となるデータやロジックが破損した際にそれを検知する手段となります。

責任と比例的監督

SQLやダッシュボード作成の自動化が進んでいるにもかかわらず、責任を負うためには人間が必要であり続けます。モデルはSQLを理解することはできますが、クリーンなデータモデルなしには、企業の特定の内部定義を本質的に知ることはできず、似たような外見のテーブルを区別することもできません。

AIが生成するエラーのリスクを管理するために、このフレームワークは3つの監督の円を提案しています。「Wild West（無法地帯）」は監視なしの実験を許容し、「Curated（キュレート済み）」セットは重要ではあるが非クリティカルなダッシュボードを含み、「Core（コア）」はデータチームの最高レベルの警戒を必要とする高リスクな指標を含みます。