Prompt-Tests

Prompt-Tests

Behandeln Sie Prompts wie Quelldateien. Ein Befehl prüft jeden Prompt eines Repositorys gegen eine Qualitätsgrenze, ein Token-Budget und eine Schweregradschwelle und lässt den Build scheitern, wenn einer davon kaputt ist.

  • CLI
  • Offline
  • Aus dem Quellcode bauen
CLI-Dokumentation lesenPrüfungen im Arbeitsbereich ausprobieren

Was es leistet

Ein Prompt, der letzten Monat funktionierte, kann durch eine gut gemeinte Änderung kaputtgehen: ein doppelter Absatz, ein entferntes Ausgabeformat, ein eingefügter Schlüssel. Prompt-Tests fangen das im Review ab statt in der Produktion.

Der Befehl promptflow check liest die angegebenen Prompt-Dateien und schlägt fehl, wenn eine Datei unter Ihrem Minimum liegt, mehr Tokens als Ihr Maximum verbraucht oder einen Befund mit mindestens dem gewählten Schweregrad hat. Die Standardschwelle ist critical, geleakte Zugangsdaten schlagen also immer fehl. Die Einstellungen liegen in einer Datei .promptflowrc.json im Wurzelverzeichnis des Repositorys.

Es sind statische Tests. Sie untersuchen den Prompt-Text und rufen nie ein Modell auf, deshalb sind sie schnell, kostenlos und bei jedem Lauf identisch. Sie ersetzen keine Ausgabetests mit einem Modell; sie stehen davor und beseitigen die Fehler, für die man kein Modell braucht. Modellbasierte Tests sind geplant und heute nicht verfügbar.

Praxisbeispiel

Eine Regression, die compare erkennt

Zwei Fassungen desselben Prompts, verglichen von der Engine beim Erstellen dieser Seite. Die Änderung wirkte harmlos und entfernte das Ausgabeformat. Befunde der Engine und generierte Prompts werden auf Englisch angezeigt, genau so, wie Engine und API sie zurückgeben.

Version 1

100/100 · 46 Tokens
Summarize the incident report below for the on-call engineering team in 5 bullet points. Include the root cause, the customer impact, and the fix. Return a markdown list.

<report>
{{report}}
</report>

Version 2

84/100 · 36 Tokens
Summarize the incident report below for the on-call engineering team. Include the root cause, the customer impact, the fix, and some other details if relevant.

{{report}}
Qualität
-16
Tokens
-10
Neue Probleme
3
  • WarnungTemplate variable not delimited: {{report}}.
  • InfoNo output format is specified.
  • InfoNo length limit for generated content.

Von der Engine beim Erstellen dieser Seite berechnet. Mit der folgenden Konfiguration besteht Version 2 das Gate bei einer Mindestpunktzahl von 70.

.promptflowrc.json
{
  "include": ["prompts/**/*.md"],
  "model": "gpt-4.1",
  "minScore": 70,
  "maxTokens": 2000,
  "failOn": "critical"
}
shell
promptflow check
promptflow compare prompts/summary.v1.md prompts/summary.v2.md

Die wichtigsten Vorteile

Funktionen

Für wen

Anwendungsfälle

Häufige Fragen

Führen Prompt-Tests meine Prompts mit einem Modell aus?

Nein. Die Prüfungen sind statisch: Sie analysieren den Prompt-Text mit deterministischen Regeln. Prompts mit einem Modell auszuführen und die Ausgabe zu bewerten, ist geplant und heute nicht verfügbar.

Gibt es die CLI auf npm?

Noch nicht. Bis das Paket veröffentlicht ist, bauen Sie die CLI aus einem Checkout des Repositorys. Die CLI-Dokumentation enthält die Befehle.

Welche Dateitypen kann sie prüfen?

Jede Textdatei. Richten Sie die Include-Globs auf die Dateien mit Ihren Prompts, etwa Markdown- oder .prompt.txt-Dateien.

Kann ich eine Regel ignorieren?

Ja. Tragen Sie Regelcodes unter ignore in .promptflowrc.json ein, um sie für das ganze Repository zu überspringen.

Alle Produkte laufen mit derselben Engine und lassen sich daher ohne Überraschungen kombinieren.

Die Technik dahinter verstehen

Leitfäden aus dem Wissenszentrum für Prompt Engineering, die die Ideen hinter diesem Produkt erklären.

Probieren Sie es mit Ihrem eigenen Prompt.

Kostenlos, deterministisch und privat. Ohne Registrierung.

Arbeitsbereich öffnenAlle KI-Prompt-Tools ansehen