Respan Gateway funciona como una capa de traducción para aplicaciones de inteligencia artificial. Los desarrolladores a menudo enfrentan el desafío de integrar múltiples proveedores de LLM, cada uno de los cuales puede utilizar diferentes estructuras de API, formatos de solicitud y métodos de autenticación. Respan aborda esto proporcionando un único punto de acceso donde un cliente puede llamar a cualquier modelo, y la pasarela se encarga de la tarea pesada de traducir esa solicitud al formato específico requerido por el proveedor. Por ejemplo, un cliente que utiliza un SDK compatible con OpenAI puede solicitar un modelo Claude, y la pasarela enrutará y reformateará automáticamente la solicitud a la API de Anthropic.
La pasarela actúa como una capa de traducción, permitiendo que un único punto de acceso sirva a múltiples proveedores.
El sistema está construido en Rust y opera como un único binario que incluye una interfaz web para el monitoreo. Su funcionalidad principal está modularizada en una arquitectura de complementos, donde características como el enrutamiento, los precios y la ejecución de herramientas se tratan como componentes distintos. La pasarela admite una amplia gama de capacidades más allá de las simples finalizaciones de chat, incluyendo voz en tiempo real (traduciendo entre OpenAI Realtime y Gemini Live), generación de imágenes, conversión de voz a texto y tareas de video. También se integra con el Model Context Protocol (MCP), lo que le permite actuar como frente para servidores MCP y ejecutar sus herramientas directamente dentro de las solicitudes de chat para clientes que no tienen soporte nativo de MCP.
El sistema está construido en Rust y cuenta con una arquitectura de complementos modular para diversas capacidades de IA.
Una de las principales decisiones de diseño en Respan es su dependencia de un sistema basado en complementos para sus funciones principales. Si bien esto permite una alta extensibilidad —permitiendo a los usuarios añadir protecciones personalizadas, enmascaramiento de PII o lógica de enrutamiento especializada— también introduce compensaciones específicas con respecto a la complejidad y la seguridad. Debido a que la pasarela está diseñada para ser altamente personalizable, los usuarios pueden construir sus propios complementos utilizando una API pública de Rust. Sin embargo, esta modularidad significa que la estabilidad y seguridad de la pasarela están ligadas a la integridad de estos complementos. El proyecto proporciona varios complementos preconstruidos para tareas comunes, como 'hedged races' (enviar solicitudes a múltiples proveedores para encontrar la respuesta más rápida) y mecanismos de 'fallback' para garantizar una alta disponibilidad cuando un proveedor específico experimenta tiempo de inactividad.
A pesar de su amplia compatibilidad, el comportamiento de la pasarela está regido por un archivo de configuración que define las claves de cliente, los proveedores y las rutas específicas. Por ejemplo, un usuario puede definir una ruta 'inteligente' que selecciona automáticamente entre diferentes modelos basándose en la solicitud. La pasarela también proporciona funciones de observabilidad, incluyendo un registro de solicitudes en vivo y precios por llamada, lo que ayuda a los desarrolladores a rastrear los costos en diferentes proveedores en una ubicación centralizada. Al abstraer los detalles del proveedor subyacente, Respan busca simplificar el flujo de trabajo de 'LLMops', permitiendo que los desarrolladores se concentren en la lógica de la aplicación en lugar de en los matices de las API individuales de cada proveedor.
Si bien la pasarela simplifica la integración de múltiples modelos, también introduce un nuevo punto de falla y un cuello de botella potencial en la infraestructura. Debido a que todas las solicitudes pasan a través del binario de Respan, la pasarela debe escalarse y gestionarse de manera efectiva para mantener una baja latencia. Además, aunque el sistema de complementos ofrece flexibilidad, requiere que los desarrolladores gestionen el ciclo de vida y las dependencias de dichos complementos. El proyecto actualmente admite una vasta gama de proveedores, incluidos OpenAI, Anthropic, Gemini, Groq y DeepSeek, convirtiéndolo en una herramienta integral para aquellos que buscan evitar la dependencia de un solo proveedor manteniendo una interfaz única y consistente para su pila de IA.