Dessa es un modelo de conversación desarrollado por un laboratorio de investigación en Block que se distingue por estar entrenado íntegramente en habla humana. A diferencia de la mayoría de los modelos de lenguaje de gran tamaño (LLM) modernos, que ingieren cantidades masivas de texto para aprender el lenguaje, Dessa fue entrenado desde cero utilizando únicamente datos de audio. Este enfoque tiene como objetivo replicar la forma en que los humanos aprenden a hablar —escuchando—, permitiendo que el modelo capture información que a menudo se pierde cuando la voz se convierte en texto, como el sarcasmo, los suspiros y las inflexiones específicas.
La imagen representa el modelo Dessa, el cual está entrenado exclusivamente con audio de habla humana para capturar matices que se pierden en la conversión a texto.
El modelo está diseñado para la interacción full-duplex, lo que significa que puede procesar y generar habla simultáneamente en lugar de esperar a que el usuario termine de hablar antes de responder. Esta capacidad permite comportamientos naturales como el 'backchanneling' (intervenir con breves reconocimientos como "sí" o "entendido") y reaccionar a señales emocionales en tiempo real. Según los desarrolladores, el modelo fue entrenado en un único NVIDIA GB200 NVL72 y está optimizado para ejecutarse localmente en hardware de alta gama, como un MacBook Pro con un chip M4 Max, con velocidades de inferencia más rápidas que el tiempo real.
Si bien el modelo demuestra una alta expresividad, su metodología de entrenamiento presenta desafíos técnicos y oportunidades de investigación únicos. Debido a que carece de una base de texto, debe aprender hechos y lenguaje a partir de sonido puro, lo cual, señalan los desarrolladores, es significativamente más difícil que aprender a partir de texto. Esto crea una nueva categoría de modelos de aprendizaje profundo para que los investigadores estudien, específicamente en cuanto a qué tan eficientemente un modelo puede aprender nuevos idiomas o realizar un aprendizaje en contexto sin una base textual. Los desarrolladores también han invitado a investigadores de seguridad de IA a evaluar el modelo, señalando que su capacidad para percibir y replicar las emociones humanas es un paso hacia interacciones de IA más empáticas y seguras.