Memdoorプロジェクトは、プランナー、2人のアイディエーター、ソルバー、マネージャーの5つの異なるAIの役割を調整し、リペアワーカーのサポートを得ることで複雑なプログラミング問題を解決するために設計されたマルチエージェント・ハーネスを導入しています。長いチャット履歴に依存する多くのエージェントシステムとは異なり、このワークフローでは各エージェントが常に新鮮なコンテキストから開始し、ディスク上のファイルを通じてのみ通信することを要求します。この「台帳規律」は、明確さを維持し、長いコンテキストウィンドウで頻繁に発生する推論の劣化を防ぐことを目的としています。このシステムは、Alibabaによって開発された270億パラメータの大型言語モデル(LLM)であるQwen3.8-27Bモデルを使用してテストされました。

軽量なコーディングおよび自動化エージェントのためのMemdoorプロジェクトのロゴとブランディング。
Memdoorプロジェクトは、複雑なプログラミングタスクのために異なるAIの役割を調整するように設計されたマルチエージェント・ハーネスを提供します。github.com

Memdoorプロジェクトは、プランナー、2人のアイディエーター、ソルバー、マネージャーの5つの異なるAIの役割を調整し、リペアワーカーのサポートを得ることで複雑なプログラミング問題を解決するために設計されたマルチエージェント・ハーネスを導入しています。

難易度の高いコーディング問題のセットであるLiveCodeBench Hardベンチマークを用いた一連のテストにおいて、Memdoorワークフローは最初の10問に対して5回の試行で10点満点中平均9.8点を獲得しました。この性能は、同じセットで8.0点を獲得した高性能コーディングエージェントであるFable 5の結果と一致、あるいはそれを上回るものです。これらの結果は、特定のマルチエージェント手法(GVS5H)をMemdoorフレームワークに再構築することで達成されました。システムは、有向非巡回グラフ(DAG)のステップを移動することで動作します。プランナーがタスク計画を作成し、アイディエーターが異なるアルゴリズム的アプローチ(例:直接証明可能なアルゴリズム対別の技術)を提案し、ソルバーが選択されたパスを実装し、レビュー/リペアサイクルがモデルの主張ではなく実際のテスト出力に基づいてエラーを修正します。

結果は有望ですが、このプロジェクトはマルチエージェントの調整における特定の制限と技術的なトレードオフを浮き彫りにしています。例えば、マネージャーエージェントはプログラムがすでに正しいことを認識できないことが時折あり、不要なリペアラウンドや成功したコードの上書きを招りました。さらに、ベンチマークが2025年初頭のものであるため、モデルがトレーニング段階でこれらの問題を見た可能性があるデータ汚染の可能性についても言及されています。それにもかかわらず、Memdoorフレームワークは、モデル間の相互作用と状態共有の方法を最適化することで、比較的サイズの小さいオープンウェイトモデルを使用して高度なコーディング知能を達成するための再現可能な手法を提供します。