Cada semana, alguien de este equipo se sienta a leer conversaciones que nuestros agentes han mantenido con personas reales. No es glamuroso. No es escalable en el sentido en que a la industria le gusta esa palabra. Y es, con diferencia, lo que más ha mejorado el producto este año.
Es final de diciembre y toca mirar atrás. Esto es lo que un año de esa costumbre nos ha enseñado — sin datos de nadie, solo los patrones que se repiten hasta que ya no puedes ignorarlos.
Por qué leer, y no solo medir
Los tests automáticos miden lo medible: si el agente respondió, en cuánto tiempo, si el sistema se cayó. No miden lo que importa: si esa respuesta era la que un buen comercial habría dado a esa persona en ese momento.
Para saber eso no hemos encontrado atajo. Hay que leer. Y leer es incómodo, porque te encuentras tus propios errores en frío, con la caligrafía del agente pero la firma tuya: la instrucción ambigua que escribiste tú, el caso que no previste tú. Ninguna métrica te avergüenza así. Por eso funciona.
La gente escribe cuando no hay nadie
Lo sospechábamos cuando construimos el producto — lo contamos en su día —, pero leer un año de conversaciones lo convierte en algo que ya no se puede discutir: las conversaciones interesantes ocurren de noche, en fin de semana, en el descanso de la comida. No como excepción. Como norma.
La consulta escrita a las once de la noche no es una consulta impaciente; es una persona que por fin tiene un rato para ocuparse de lo suyo. Merecía una conversación de verdad, no un «le atenderemos en horario de oficina».
«No lo sé» hay que dárselo por escrito
Esta fue la lección que más nos costó. Un modelo de lenguaje quiere ayudar; es su naturaleza. Si le preguntas algo que no sabe y no le has dado una salida, rellenará el hueco con algo que suene razonable. No basta con pedirle que no invente. Hay que darle permiso explícito para no saber, y una frase digna con la que decirlo.
Y aquí vino la sorpresa: cuando el agente dice «eso no lo sé, deje que se lo consulte al equipo», la conversación no se enfría. Mejora. La gente confía más en quien admite un límite que en quien contesta todo con la misma seguridad. Tardamos en aprenderlo porque va contra la intuición: parece que un vendedor que duda vende menos. Es al revés. La honestidad, leída en cientos de conversaciones, vende más que la apariencia de saber.
Por el mismo motivo nuestros agentes se presentan como IA desde el primer mensaje. Lo exige el artículo 50 del Reglamento de IA, sí — pero a estas alturas lo haríamos igual sin la norma.
Las garantías van en código, no en las instrucciones
Puedes escribirle a un agente «no inventes precios» y obedecerá casi siempre. Casi. Para precios, stock y productos, «casi siempre» no es un estándar aceptable; es una reclamación esperando fecha.
Por eso las garantías de verdad no viven en las instrucciones sino en código: suelos duros deterministas que hacen que el agente no pueda afirmar un precio o un producto que no está en los datos, por mucho que la conversación empuje. La diferencia entre pedir y garantizar la aprendimos leyendo — viendo dónde un agente bienintencionado se acercaba al borde — y la resolvimos donde se resuelven estas cosas: donde el modelo no puede desobedecer porque no decide.
Cualificar es conversar, no interrogar
Las mismas cinco preguntas, hechas de dos maneras, producen resultados opuestos. Encadenadas como un formulario — dato, dato, dato —, la gente se cansa y se va: nadie quiere rellenar un impreso por WhatsApp. Hiladas como las haría alguien con interés genuino — una cada vez, recogiendo lo que la persona acaba de decir antes de pedir lo siguiente —, la gente contesta, y a menudo cuenta más de lo que se le pregunta.
La información que necesita tu comercial no cambia. Cambia si obtenerla parece una conversación o un trámite. Nos llevó muchas lecturas dejar de optimizar el guion y empezar a optimizar el ritmo.
El traspaso a humano es una función, no un fracaso
Confesión de principio de año: en el fondo tratábamos cada traspaso a humano como una pequeña derrota del producto. Doce meses de lectura nos han curado. El traspaso bien hecho — a tiempo, con el contexto completo de la conversación, sin que la persona tenga que repetir nada — es de lo más valioso que hace el sistema.
Porque el cliente no quiere hablar con una IA ni con un humano. Quiere resolver lo suyo sin contarlo dos veces. Un agente que sabe cuándo apartarse, y aparta bien, genera más confianza que uno que se empeña en llegar solo hasta el final.
Seguiremos leyendo
Nada de lo anterior salió de un panel de métricas. Salió de leer, semana a semana, lo que el agente dice cuando nadie del equipo está mirando — que es exactamente cuando importa.
El año que viene el método será el mismo. Si quieres ver cómo se traduce todo esto en el producto, está explicado aquí. Y si no, quédate al menos con la lección que nos costó más cara: a una IA que vende hay que darle por escrito el derecho a decir «no lo sé».