Janus se distribuye como un solo programa ejecutable Go que agrupa el motor de inferencia llama.cpp para ejecutar modelos de lenguaje en formato GGUF. Según su README en GitHub, puede utilizar la aceleración de GPU a través de Vulkan en tarjetas gráficas AMD, Intel y NVIDIA, y vuelve automáticamente a la inferencia en CPU cuando no está presente un controlador Vulkan compatible. El proyecto enfatiza que solo requiere la cadena de herramientas de Go para compilar y no tiene dependencias de tiempo de ejecución adicionales como Python o Docker.
El logotipo identifica el proyecto tratado en el artículo, que detalla su distribución como binario único, su soporte Vulkan y su API compatible con OpenAI.
Una vez construido, Janus expone una API compatible con OpenAI en localhost:8990, ofreciendo endpoints como /v1/models y /v1/chat/completions que aceptan los mismos cargas útiles JSON utilizados por servicios remotos. Los usuarios señalan un archivo .gguf local a la variable JANUS_MODEL_PATH (o lo colocan en la carpeta models/) y eligen el backend de inferencia mediante INFERENCE_BACKEND (vulkan, cpu o openrouter). El servidor admite el intercambio en caliente de modelos sin reiniciar, lee las plantillas de chat desde los metadatos GGUF y proporciona endpoints de salud y estado del motor para monitoreo.
El README indica que los binarios preconstruidos con Vulkan están actualmente confirmados para Linux en amd64, mientras que el soporte para macOS depende de que el usuario proporcione una libllama.dylib compatible y permanece sin probar; el arm64 de macOS figura como no probado o no soportado. También reproduce la discusión de la cola de issues del repositorio donde observadores cuestionan si Janus aporta valor más allá del servidor web incorporado de llama.cpp, señalando que no se suministran benchmarks comparativos frente a alternativas como vLLM o SGLang para evaluar el rendimiento en contexto largo o la sobrecarga de Vulkan.