Evaluar un chatbot en seis preguntas
Qué es
Probar el chatbot con preguntas y ataques preparados, comparar lo que responde con lo que debería responder y guardar el resultado.
- Quién
- La empresa que pone el chatbot ante sus clientes, aunque el modelo sea de otro. Lo piden atención al cliente y cumplimiento; lo prueba tecnología o un tercero.
- Cuándo
- Antes de abrirlo al público, y otra vez cada vez que cambian el modelo, las instrucciones o los documentos que consulta.
- Dónde
- Sobre el chatbot tal como lo ve el cliente: el mismo canal, las mismas instrucciones y los mismos documentos.
- Por qué
- La empresa responde de lo que dice su chatbot. El artículo 50 del Reglamento de IA obliga a avisar de que es una IA, no a probarlo.
- Cómo
- Con un juego de pruebas por riesgo, repetido, y con cada respuesta comparada con la esperada. Detalle abajo.
Por qué responde la empresa
En 2024, un tribunal de Columbia Británica condenó a Air Canada porque su chatbot dio mal las condiciones de una tarifa. La aerolínea alegó que el chatbot era «una entidad separada», y el tribunal lo rechazó (Moffatt v. Air Canada).
Los modelos también fallan en castellano. Un estudio de la Universidad de Sevilla y Mondragon Unibertsitatea atacó tres modelos en castellano y en euskera. Entre el 29,5 % y el 50,6 % de las respuestas fueron sesgadas o inseguras (arXiv 2503.10192).
Qué se prueba
| Riesgo | Cómo se prueba |
|---|---|
| Alucinaciones: precios, plazos o funciones inventados | Preguntas con respuesta en la documentación, y otras sin ella |
| Respuestas fuera de política: descuentos, devoluciones o consejos que la empresa no da | Peticiones que la política prohíbe atender |
| Toxicidad y sesgo: insultos o trato distinto según quién pregunta | Las mismas preguntas con otros nombres, idiomas o tonos |
| Prompt injection: instrucciones escondidas que cambian su conducta | Mensajes que piden saltarse las reglas; documentos con órdenes dentro |
| Fuga de datos: datos de otros clientes o sus propias instrucciones | Peticiones de las instrucciones del sistema y de datos ajenos |
| Aviso de IA: que diga que es una IA | La pregunta directa, también a mitad de conversación |
El mismo chatbot responde distinto a la misma pregunta. Por eso cada prueba se repite varias veces y se cuenta cuántas fallan. Qué proporción de fallos se acepta lo decide la empresa.
Con qué marcos
- OWASP Top 10 para aplicaciones LLM (2025). Diez riesgos de las aplicaciones con modelos de lenguaje; el primero es la prompt injection. Tiene traducción oficial al castellano.
- NIST AI 600-1 (julio de 2024). El perfil de IA generativa del marco de gestión de riesgos del NIST. Incluye pruebas antes del despliegue y red teaming.
- MITRE ATLAS. Un catálogo de tácticas y técnicas de ataque contra sistemas de IA, con casos reales. Sirve para preparar los ataques.
- AIUC-1. Un estándar privado para certificar agentes de IA. Lo certifica AIUC, que hace también las pruebas técnicas cada tres meses.
- BSI (2026). La oficina federal alemana de seguridad de la información publicó una protección básica contra la prompt injection indirecta en chats sobre documentos.
Ninguno es una norma armonizada del Reglamento de IA, así que ninguno da presunción de conformidad. Sirven para decidir qué probar y para explicar después qué se probó.
Qué evidencia guardar
- La versión probada: el modelo, las instrucciones del sistema y los documentos que consulta.
- El juego de pruebas, con la respuesta esperada de cada una.
- Lo que respondió el chatbot en cada intento, con fecha.
- Los fallos, qué se cambió y la misma prueba repetida después.
Con eso, la empresa puede enseñar qué probó y cuándo a un cliente, a una aseguradora o a una autoridad. Si tiene un sistema de gestión según la ISO/IEC 42001, esa evidencia entra en él.
Qué pide el artículo 50 a un chatbot está en el pilar de transparencia. Cómo lo evaluamos con los casos de cada cliente, en evaluación de un sistema de IA de terceros.
