La demo del chatbot fue impecable. El asistente de la marca respondió bien, recomendó productos y hasta tuvo un buen tono de respuesta. Tres semanas después de lanzarlo, un cliente reclama porque le ofrecieron un descuento que no existe. Y aparece la pregunta incómoda: ¿Cómo aseguramos que esto iba a funcionar?

Cada vez más empresas incorporan asistentes basados en modelos de lenguaje (los “cerebros” detrás de ChatGPT, Claude o Gemini) para atender clientes, apoyar procesos internos o vender. El problema es que muchas saben cómo construirlos, pero pocas saben cómo medir si realmente son buenos.

¿Qué estamos evaluando exactamente?

Cuando una empresa dice que está usando “IA”, normalmente se refiere a uno de estos tres tipos de sistemas:

• Chatbots: responden preguntas de clientes o empleados. Por ejemplo, el asistente de un retailer que recomienda productos y ayuda a elegir un producto.

• Asistentes con herramientas: además de conversar, consultan por ejemplo el inventario, buscan en un catálogo, revisan el estado de un pedido o acceden a otros sistemas.

• Agentes: reciben un objetivo más abierto o ambiguo, como por ejemplo “prepara un resumen de la campaña y avisa al equipo si algo va mal”, y deciden solos qué pasos seguir, qué herramientas usar y cuándo es bueno detenerse.

Acá hay una distinción importante. Lo que evaluamos casi nunca es solamente el modelo. Evaluamos el sistema completo: el modelo, sus instrucciones, sus herramientas (catálogo, CRM, inventario) y las reglas que lo limitan. En la jerga técnica, ese entorno suele llamarse harness o “arnés”.

Pensemos en un vendedor. Para evaluar su desempeño no basta con preguntarnos qué tan inteligente es, sino que también importa si tiene el catálogo actualizado, si conoce las políticas de la empresa, si recibió buenas instrucciones y si sabe qué puede prometerle a un cliente.

¿Por qué es tan difícil evaluarlos?

En el software tradicional, una misma entrada produce siempre la misma salida y basta con comprobar que el resultado sea correcto. Con los asistentes de IA eso cambia.

Un asistente de IA responde con palabras distintas cada vez, y muchas preguntas admiten varias respuestas buenas. Si alguien pregunta “¿cuál es el mejor producto para mí?”, probablemente existan varias respuestas razonables, pero también existen respuestas claramente malas, como recomendar algo fuera de presupuesto, inventar un precio, ofrecer un descuento que no existe o ignorar lo que el cliente pidió. Por eso, evaluar estos sistemas requiere algo más sofisticado que comparar una respuesta con un texto “correcto”.

Los métodos más comunes para evaluar un asistente

Este último método, conocido como “LLM como juez”, se ha convertido en una de las formas más prácticas de evaluar sistemas basados en modelos de lenguaje.

La lógica es simple: se construye un conjunto de preguntas representativas de lo que los usuarios podrían preguntar, el sistema las responde y un modelo “juez” evalúa cada respuesta usando una pauta que define qué significa responder bien.

Un ejemplo con un retailer

Imaginemos a “Deportes Cordillera”, un retailer ficticio que tiene un asistente de compras en su sitio web. Un cliente escribe lo siguiente:

Antes de lanzar el asistente, el equipo define cómo luce una buena respuesta. No necesita escribir la respuesta palabra por palabra. Lo importante es definir qué condiciones debe cumplir.  Ejemplo de una pauta:

Ahora el asistente responde, y lo hace de forma mucho más extensa que la pauta, como suele ocurrir:

A primera vista, parece una muy buena respuesta. Es amable y entrega recomendaciones concretas. Pero el modelo juez la revisa contra cada punto de la pauta:

El resultado: cumple dos de cinco criterios.

Un lector humano que revisara rápidamente esa conversación podría aprobarla porque “suena bien”. En cambio, la pauta obliga a mirar otra cosa: si la respuesta hizo lo que el negocio necesitaba que hiciera.

Además, la misma pauta puede aplicarse a cientos de preguntas y repetirse o volver a ejecutarse cada vez que cambiamos el modelo, las instrucciones, una herramienta o cualquier otra parte del sistema.

Hay, eso sí, una precaución: el juez también es un modelo y puede equivocarse. Por eso, sobre todo al comienzo, conviene revisar a mano una muestra de sus evaluaciones y comprobar que el juez califica como lo haríamos nosotros.

Cuatro ideas que conviene cuestionar: Lo que se suele creer y lo que ocurre realmente

Vale la pena detenerse en el segundo punto. Si una versión nueva rinde peor, muchas veces es porque el sistema fue ajustado al modelo anterior: sus instrucciones, las herramientas que utiliza o incluso sus límites de tiempo y extensión. Por eso, comparar modelos de forma aislada puede llevar a conclusiones equivocadas: lo que importa es cuál funciona mejor dentro del sistema y para la tarea que necesitamos resolver.

Preguntas que deberías hacerle a tu proveedor o a tu propio equipo

No necesitas entender en detalle cómo funciona un modelo de lenguaje para exigir una buena evaluación. Puedes empezar con cuatro preguntas:

1. ¿Con qué casos reales se probó el sistema?. 2. ¿Quién definió la pauta y qué criterios contiene?
La definición de “buena respuesta” no debería quedar únicamente en manos del equipo técnico. Áreas como ventas, marketing, operaciones, servicio al cliente o compliance pueden tener criterios igual o más importantes.

3. Cuando se cambia algo (como un modelo, una herramienta o una instrucción) ¿se vuelve a medir?
Cada cambio puede mejorar algunas respuestas y empeorar otras. Sin volver a evaluar, simplemente no lo sabemos.

4. ¿Alguien revisa manualmente una muestra de los resultados?
Automatizar la evaluación permite escalar, pero la revisión humana permite comprobar que estamos midiendo lo correcto.

Un asistente de IA que no se mide sigue siendo, en buena medida, una promesa. Con un conjunto de preguntas representativas, una pauta clara y una evaluación que se repite cada vez que el sistema cambia, podemos saber dónde falla y si una nueva versión realmente lo mejoró. Esa es, quizás, la diferencia entre una demo que impresiona y un sistema de IA en el que una empresa puede confiar.