La infraestructura actual para agentes de IA a menudo depende de ejecutar cada agente dentro de un sandbox dedicado. Sin embargo, estos sandboxes suelen ser ineficientes porque son costosos de mantener, lentos de iniciar y pasan gran parte de su tiempo inactivos. Rivet aborda estos cuellos de botella utilizando un modelo de actor, donde cada agente está representado por un actor ligero en lugar de un sandbox completo. Estos actores mantienen el estado en memoria para el contexto, proporcionan un servidor WebSocket para interacciones multijugador y utilizan almacenamiento duradero en SQLite. Este cambio reduce significativamente la sobrecarga de recursos: los actores de Rivet tienen una base de 72 KB en comparación con los 512 MB requeridos para un sandbox mínimo, y logran un tiempo de inicio p99 de 4.9 ms frente a los 1.7 segundos de los sandboxes.

Para equilibrar el rendimiento con el costo, Rivet emplea una arquitectura de almacenamiento por niveles respaldada por Amazon S3. Debido a que los agentes pueden generar cantidades masivas de datos, como transcripciones de sesiones y sistemas de archivos POSIX completos, almacenar todo en SSD de alto rendimiento se vuelve prohibitivo en términos de costos. Rivet resuelve esto utilizando un nivel de SSD para confirmar las escrituras de inmediato (a través de tres zonas de disponibilidad) mientras agrupa esos datos hacia S3 en segundo plano. Esto garantiza que S3 nunca esté en la ruta crítica de escritura, permitiendo que el sistema mantenga velocidades de nivel SSD mientras hace que el almacenamiento de datos sea 10 veces más barato que los volúmenes estándar EBS gp3. Esta arquitectura admite escrituras duraderas en aproximadamente 1.07 ms y lecturas en 1.36 ms, con una opción de respaldo a almacenamiento de objetos para datos no almacenados en caché.

Las aplicaciones prácticas de este modelo incluyen empresas como Amp, que migraron de Cloudflare Durable Objects a Rivet para eludir las limitaciones de la plataforma y desplegar dentro de sus propias VPC privadas. Si bien la eficiencia técnica del modelo de actor es un atractivo principal, algunos usuarios iniciales han señalado una curva de aprendizaje pronunciada con respecto a la experiencia de usuario de la plataforma y casos de borde específicos. Además, las discusiones técnicas en torno al modelo sugieren que, al desacoplar el bucle del agente del sandbox, los desarrolladores pueden minimizar los costos durante las fases de inferencia donde el agente está esperando una respuesta. Una limitación notable persiste: los materiales proporcionados no especifican cómo Rivet maneja el aislamiento de seguridad para el código generado por IA no confiable sin el entorno de sandbox tradicional, lo cual es un requisito común para muchas cargas de trabajo de agentes.