Evaluación de prompts
Una puntuación de calidad que puedes comprobar a mano. La puntuación es 100 menos una penalización fija por problema, cada dimensión enumera sus comprobaciones y dos versiones de un prompt pueden compararse línea a línea.
La evaluación responde a una pregunta: ¿es esta versión del prompt mejor que aquella? Un número de un modelo que no se explica no la responde. PromptFlowEngine puntúa los prompts con una aritmética que cabe en una línea.
Cada hallazgo resta una penalización fija según su gravedad. La puntuación global es 100 menos la suma, con un tope cuando algún hallazgo es crítico. Cada una de las ocho dimensiones se puntúa igual a partir de sus propios hallazgos, y el informe enumera cada comprobación que se ejecutó en esa dimensión y si la superó.
Es una evaluación del prompt tal como está escrito, no de la salida del modelo. Te dice si las instrucciones son claras, completas, coherentes y seguras. Medir lo que hace un modelo con ellas requiere un conjunto de pruebas y llamadas a modelos, que este motor no hace.
Ejemplo práctico
El motor evaluó este prompt al construir la página. La tabla muestra cada dimensión y las comprobaciones que fallaron en ella. Los hallazgos del motor y los prompts generados se muestran en inglés, tal como los devuelven el motor y la API.
Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.Calculado por el motor al construir esta página. 100 menos 29 puntos de penalización repartidos en 5 hallazgos.
| Dimensión | Puntuación | Comprobaciones fallidas |
|---|---|---|
| Claridad | 90 | vague language |
| Especificidad | 97 | unquantified size |
| Completitud | 100 | — |
| Estructura | n/d | — |
| Coherencia | 100 | — |
| Especificación de salida | 87 | missing output format, missing length guidance |
| Eficiencia | 97 | filler phrases |
| Seguridad | 100 | — |
Cada punto perdido corresponde a un hallazgo con nombre. No hay ningún modelo oculto detrás del número.
La puntuación no varía entre ejecuciones ni versiones del proveedor, así que un cambio en la puntuación significa un cambio en el prompt.
La misma fórmula se aplica en el espacio de trabajo, la CLI, la API, las extensiones y las herramientas MCP.
Si no estás de acuerdo con una regla, puedes verla, ignorarla en la configuración y explicar por qué.
Claridad, especificidad, completitud, estructura, coherencia, especificación de salida, eficiencia y seguridad.
85 o más es sólido, de 70 a 84 bueno, de 50 a 69 mejorable y menos de 50 débil.
Para cada dimensión, la lista de comprobaciones ejecutadas, cuáles fallaron y el texto que lo provocó.
Diferencias de calidad, tokens y coste, además de los hallazgos resueltos y los introducidos.
Al optimizar, cada candidato se puntúa y se muestra con el motivo por el que se eligió o rechazó.
El motor expone una interfaz de evaluador; el integrado es determinista.
Compáralos y lee qué hallazgos resuelve o introduce cada uno.
Registra la puntuación de cada versión confirmada y vigila las regresiones.
Elige una puntuación mínima para los prompts de producción y aplícala con el control check.
Las plantillas de este sitio deben obtener una puntuación sólida sin advertencias, y se verifica en cada compilación.
La puntuación empieza en 100. Cada hallazgo resta una penalización fija según su gravedad: 30 si es crítico, 10 si es una advertencia y 3 si es informativo. Si algún hallazgo es crítico, la puntuación global tiene un tope de 50. Cada dimensión se puntúa igual a partir de sus hallazgos.
Significa que el prompt no tiene ninguno de los problemas que buscan las reglas. La calidad de la respuesta también depende del modelo, la tarea y la entrada, algo que solo pueden medir las pruebas de salida.
No. El evaluador integrado es determinista y no hace llamadas a modelos.
Las puntuaciones de 85 o más se consideran sólidas. Los prompts cortos para tareas sencillas suelen puntuar menos en completitud y aun así funcionan, así que lee los hallazgos y no solo el número.
Todos los productos ejecutan el mismo motor, así que se combinan sin sorpresas.
Guías del centro de conocimiento de ingeniería de prompts que explican las ideas que aplica este producto.
Gratis, determinista y privado. Sin registro.