Tests de prompts

Summarize the incident report below for the on-call engineering team in 5 bullet points. Include the root cause, the customer impact, and the fix. Return a markdown list.

<report>
{{report}}
</report>

Summarize the incident report below for the on-call engineering team. Include the root cause, the customer impact, the fix, and some other details if relevant.

{{report}}

Calculé par le moteur lors de la construction de cette page. Avec la configuration ci-dessous, la version 2 passe le contrôle avec une note minimale de 70.

{
  "include": ["prompts/**/*.md"],
  "model": "gpt-4.1",
  "minScore": 70,
  "maxTokens": 2000,
  "failOn": "critical"
}

promptflow check
promptflow compare prompts/summary.v1.md prompts/summary.v2.md

• Aucun test instable

  Le même fichier produit toujours le même résultat : un build rouge signifie que le prompt a changé.

• Aucune clé API en CI

  Rien n’est envoyé à un fournisseur : aucun secret à gérer, rien à payer par exécution.

• Assez rapide pour chaque commit

  Un dépôt de fichiers de prompts est vérifié en quelques secondes.

• Des échecs lisibles

  Chaque échec nomme le fichier, la règle et le correctif, et renvoie à la référence de la règle.

• check

  Le contrôle : note minimale, tokens maximum et gravité bloquante sur un ensemble de globs.

• validate

  Code de sortie 1 en cas de constat critique, pour un simple succès ou échec.

• compare

  Écart de tokens, de qualité et de constats entre deux versions d’un prompt.

• scan

  Exécution limitée à la sécurité, qui échoue en cas de constat de sécurité critique.

• Sortie JSON

  Toutes les commandes acceptent --json pour les scripts et les tableaux de bord.

• Configuration par dépôt

  Globs inclus, modèle, seuils et règles ignorées dans .promptflowrc.json.

• Équipes qui versionnent leurs prompts dans gitOffrez aux modifications de prompts la même revue automatique que celle dont bénéficient déjà les modifications de code.
• Ingénieurs plateforme et DevExImposez une norme unique pour les fichiers de prompts dans de nombreux dépôts grâce à un petit fichier de configuration.
• Ingénieurs d’astreinte sur une fonctionnalité LLMÉvitez le type d’incident où une modification de prompt double discrètement le coût en tokens ou supprime une contrainte.

• 01

  Contrôle des pull requests

  Exécutez check dans un job GitHub Actions pour qu’une modification de prompt sous le seuil ne puisse pas être fusionnée.

• 02

  Respect du budget de tokens

  Définissez maxTokens pour maintenir les prompts système dans l’enveloppe prévue.

• 03

  Prévention des secrets

  Laissez fail-on sur critical pour qu’une clé ou un mot de passe commité fasse échouer immédiatement.

• 04

  Hook pre-commit

  Exécutez validate sur les fichiers de prompts indexés pour avoir un retour avant le push.

• OutilÉvaluation de promptsUne formule de notation publiée sur huit dimensions, avec comparaison de versions.
• OutilAnalyseur de promptsRepérez ambiguïtés, contexte manquant, conflits et tokens gaspillés dans n’importe quel prompt.
• OutilSécurité des promptsDétectez les phrases d’injection, les secrets divulgués et les données personnelles, puis masquez-les.
• DocumentationCLI et contrôle CIRéférence et détails de configuration.
• DocumentationModèle de notationRéférence et détails de configuration.

• GuideTests et évaluation de prompts : comment mesurer un promptJeux de tests, métriques, contrôles statiques, évaluateurs par modèle et exécution des tests de prompts en CI.
• GuideGestion et versionnement des promptsStocker, versionner, relire, tester et déployer les prompts en équipe.
• GuideOptimisation de prompts : une méthode itérativeUne boucle reproductible pour améliorer un prompt par la mesure plutôt qu’au feeling.