Banco de pruebas de la IA: saber si responde peor que ayer
Para que la calidad de la IA no dependa de que alguien se queje: un banco de 36 preguntas reales que se pasa por el chat de verdad y se compara con la vez anterior, marcando lo que ha empeorado.
Nuevo
- Banco de pruebas de la IA en la administración: 36 preguntas reales con su respuesta esperada.
- Compara cada pasada con la anterior y marca lo que ha empeorado.
Mejorado
- Las respuestas se comprueban tal y como las recibe cualquier usuario.
Banco de pruebas (administración)
- 36 preguntas en nueve grupos: saludos, conocimiento, cálculo, idiomas, formato, código, conversación, capacidades y calidad.
- Cada pregunta pasa por el chat de verdad, con las mismas herramientas y el mismo modelo de respaldo que usa cualquiera.
- Se comprueba lo que importa: que conteste en el idioma de la pregunta, que acierte el dato, que respete el formato pedido, que recuerde lo dicho en el mismo chat, que sepa qué día es y que no diga que no puede hacer algo que sí puede.
- Las respuestas abiertas (consejos, un correo, explicar algo a un niño) las valora la IA con una rúbrica concreta.
- Muestra primero lo que pasaba la vez anterior y ahora no, lo que ha mejorado y el resultado por grupo.
- Se puede abrir cada pregunta para ver la respuesta, qué modelo contestó, cuánto tardó y cuánto costó.
- No toca la memoria de quien lo lanza y borra al acabar las conversaciones de prueba.
