Évaluation de prompts
Une note de qualité que vous pouvez vérifier à la main. La note vaut 100 moins une pénalité fixe par problème, chaque dimension liste ses contrôles, et deux versions d’un prompt peuvent être comparées ligne à ligne.
L’évaluation répond à une question : cette version du prompt est-elle meilleure que l’autre ? Un nombre fourni par un modèle qui ne s’explique pas n’y répond pas. PromptFlowEngine note les prompts avec une arithmétique qui tient en une ligne.
Chaque constat retire une pénalité fixe selon sa gravité. La note globale vaut 100 moins la somme, avec un plafond dès qu’un constat est critique. Chacune des huit dimensions est notée de la même façon à partir de ses propres constats, et le rapport liste chaque contrôle exécuté dans cette dimension et s’il a réussi.
Il s’agit d’une évaluation du prompt tel qu’il est écrit, pas de la sortie du modèle. Elle vous dit si les instructions sont claires, complètes, cohérentes et sûres. Mesurer ce qu’un modèle en fait demande un jeu de tests et des appels de modèle, que ce moteur ne fait pas.
Exemple concret
Le moteur a évalué ce prompt lors de la construction de la page. Le tableau montre chaque dimension et les contrôles qui y ont échoué. Les constats du moteur et les prompts générés sont affichés en anglais, tels que le moteur et l’API les renvoient.
Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.Calculé par le moteur lors de la construction de cette page. 100 moins 29 points de pénalité répartis sur 5 constats.
| Dimension | Note | Contrôles échoués |
|---|---|---|
| Clarté | 90 | vague language |
| Précision | 97 | unquantified size |
| Complétude | 100 | — |
| Structure | n/a | — |
| Cohérence | 100 | — |
| Spécification de sortie | 87 | missing output format, missing length guidance |
| Efficacité | 97 | filler phrases |
| Sécurité | 100 | — |
Chaque point perdu correspond à un constat nommé. Aucun modèle caché derrière le chiffre.
La note ne varie pas d’une exécution ou d’une version de fournisseur à l’autre : un changement de note signifie un changement du prompt.
La même formule s’applique dans l’espace de travail, la CLI, l’API, les extensions et les outils MCP.
Si vous n’êtes pas d’accord avec une règle, vous pouvez la consulter, l’ignorer dans la configuration et expliquer pourquoi.
Clarté, précision, complétude, structure, cohérence, spécification de sortie, efficacité et sécurité.
85 et plus : solide ; de 70 à 84 : bon ; de 50 à 69 : à améliorer ; moins de 50 : faible.
Pour chaque dimension, la liste des contrôles exécutés, ceux qui ont échoué et le texte en cause.
Écarts de qualité, de tokens et de coût, ainsi que les constats résolus et introduits.
Lors de l’optimisation, chaque candidat est noté et affiché avec la raison de sa sélection ou de son rejet.
Le moteur expose une interface d’évaluateur ; celui fourni est déterministe.
Comparez-les et lisez quels constats chacun résout ou introduit.
Enregistrez la note de chaque version commitée et surveillez les régressions.
Choisissez une note minimale pour les prompts de production et faites-la respecter avec le contrôle check.
Les modèles de ce site doivent obtenir une note solide sans avertissement, ce qui est vérifié à chaque build.
La note part de 100. Chaque constat retire une pénalité fixe selon sa gravité : 30 pour un constat critique, 10 pour un avertissement et 3 pour une information. Si un constat est critique, la note globale est plafonnée à 50. Chaque dimension est notée de la même façon à partir de ses constats.
Elle signifie que le prompt ne présente aucun des problèmes recherchés par les règles. La qualité des réponses dépend aussi du modèle, de la tâche et des données d’entrée, ce que seuls des tests de sortie peuvent mesurer.
Non. L’évaluateur fourni est déterministe et n’appelle aucun modèle.
Les notes de 85 et plus sont considérées comme solides. Les prompts courts pour des tâches simples obtiennent souvent moins en complétude tout en fonctionnant : lisez donc les constats, pas seulement le chiffre.
Tous les produits utilisent le même moteur : ils se combinent sans surprise.
Des guides du centre de connaissances sur l’ingénierie de prompts qui expliquent les idées appliquées par ce produit.
Gratuit, déterministe et confidentiel. Sans inscription.