Respan Gatewayは、人工知能アプリケーションのための翻訳レイヤーとして機能します。開発者は、それぞれが異なるAPI構造、リクエスト形式、認証方法を使用する可能性のある複数のLLMプロバイダーを統合するという課題に直面することがよくあります。Respanは、クライアントが任意のモデルを呼び出せる単一のエンドポイントを提供することでこの課題を解決し、ゲートウェイがそのリクエストをプロバイダーが必要とする特定の形式に変換する重労働を処理します。例えば、OpenAI互換のSDKを使用するクライアントがClaudeモデルをリクエストすると、ゲートウェイは自動的にリクエストをルーティングし、AnthropicのAPIに合わせて再フォーマットします。
ゲートウェイは翻訳レイヤーとして機能し、単一のエンドポイントで複数のプロバイダーに対応します。
このシステムはRustで構築されており、監視用のWeb UIを含む単一のバイナリとして動作します。そのコア機能はプラグインアーキテクチャにモジュール化されており、ルーティング、価格設定、ツール実行などの機能は個別のコンポーネントとして扱われます。このゲートウェイは、単純なチャット補完を超えた幅広い機能（OpenAI RealtimeとGemini Liveの間の翻訳を含むリアルタイム音声、画像生成、音声からテキストへの変換、ビデオジョブなど）をサポートしています。また、Model Context Protocol（MCP）とも統合されており、MCPサーバーのフロントエンドとして機能し、ネイティブなMCPサポートを持たないクライアントのためにチャットリクエスト内で直接ツールを実行することも可能です。
システムはRustで構築されており、さまざまなAI機能のためのモジュール式プラグインアーキテクチャを備えています。
Respanにおける主要な設計上の選択の一つは、コア機能にプラグインベースのシステムを採用していることです。これにより、カスタムガードレール、PII（個人識別情報）マスキング、または特殊なルーティングロジックを追加することが可能になり、高い拡張性が得られますが、複雑性とセキュリティに関する特定のトレードオフも生じます。ゲートウェイは高度にカスタマイズ可能であるように設計されているため、ユーザーは公開されているRust APIを使用して独自のプラグインを構築できます。しかし、このモジュール性は、ゲートウェイの安定性とセキュリティがこれらのプラグインの完全性に依存することを意味します。このプロジェクトでは、複数のプロバイダーにリクエストを送信して最速のレスポンスを見つける「hedged races」や、特定のプロバイダーがダウンした際の高可用性を確保するための「fallback」メカニズムなど、一般的なタスクのためのいくつかの事前構築済みプラグインを提供しています。
広範な互換性を備えている一方で、ゲートウェイの動作はクライアントキー、プロバイダー、および特定のルートを定義する設定ファイルによって制御されます。例えば、ユーザーはリクエストに基づいて異なるモデルを自動的に選択する「スマート」ルートを定義できます。また、ゲートウェイはライブのリクエストログやコールごとの価格設定を含むオブザーバビリティ機能を提供し、開発者が異なるベンダーにわたるコストを中央の場所で追跡するのに役立ちます。基礎となるプロバイダーの詳細を抽象化することで、Respanは「LLMops」のワークフローを簡素化し、開発者が個々のベンダーAPIの細かな違いではなく、アプリケーションのロジックに集中できるようにすることを目指しています。
このゲートウェイはマルチモデルの統合を簡素化する一方で、インフラストラクチャにおける新たな故障点および潜在的なボトルネックも導入します。すべてのリクエストがRespanバイナリを通過するため、低レイテンシを維持するにはゲートウェイを効果的にスケーリングおよび管理する必要があります。さらに、プラグインシステムは柔軟性を提供する一方で、開発者はそれらのプラグインのライフサイクルと依存関係を管理する必要があります。このプロジェクトは現在、OpenAI、Anthropic、Gemini、Groq、DeepSeekを含む膨大な数のベンダーをサポートしており、AIスタックに対して単一の整合性のあるインターフェースを維持することでベンダーロックインを回避しようとする人々にとって、包括的なツールとなっています。