Prompt-Bewertung
Eine Qualitätspunktzahl, die Sie von Hand nachrechnen können. Sie beträgt 100 minus einen festen Abzug pro Problem, jede Dimension nennt die Prüfungen dahinter, und zwei Fassungen eines Prompts lassen sich Zeile für Zeile vergleichen.
Die Bewertung beantwortet eine Frage: Ist diese Fassung des Prompts besser als jene? Eine Zahl von einem Modell, das sich nicht erklärt, beantwortet sie nicht. PromptFlowEngine bewertet Prompts mit einer Rechnung, die in eine Zeile passt.
Jeder Befund zieht je nach Schweregrad einen festen Betrag ab. Die Gesamtpunktzahl ist 100 minus die Summe und wird gedeckelt, sobald ein Befund kritisch ist. Jede der acht Dimensionen wird auf dieselbe Weise aus ihren eigenen Befunden bewertet, und der Bericht listet jede Prüfung dieser Dimension mit ihrem Ergebnis auf.
Bewertet wird der Prompt in seiner geschriebenen Form, nicht die Ausgabe eines Modells. Sie erfahren, ob die Anweisungen klar, vollständig, konsistent und sicher sind. Zu messen, was ein Modell daraus macht, erfordert ein Testset und Modellaufrufe, die diese Engine nicht durchführt.
Praxisbeispiel
Die Engine hat diesen Prompt beim Erstellen der Seite bewertet. Die Tabelle zeigt jede Dimension und die darin fehlgeschlagenen Prüfungen. Befunde der Engine und generierte Prompts werden auf Englisch angezeigt, genau so, wie Engine und API sie zurückgeben.
Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.Von der Engine beim Erstellen dieser Seite berechnet. 100 minus 29 Strafpunkte aus 5 Befunden.
| Dimension | Punktzahl | Fehlgeschlagene Prüfungen |
|---|---|---|
| Klarheit | 90 | vague language |
| Spezifität | 97 | unquantified size |
| Vollständigkeit | 100 | — |
| Struktur | k. A. | — |
| Konsistenz | 100 | — |
| Ausgabespezifikation | 87 | missing output format, missing length guidance |
| Effizienz | 97 | filler phrases |
| Sicherheit | 100 | — |
Jeder verlorene Punkt gehört zu einem benannten Befund. Hinter der Zahl steckt kein verstecktes Modell.
Die Punktzahl schwankt nicht zwischen Läufen oder Anbieterversionen; eine geänderte Punktzahl bedeutet also einen geänderten Prompt.
Dieselbe Formel gilt im Arbeitsbereich, in der CLI, in der API, in den Erweiterungen und in den MCP-Tools.
Wenn Sie mit einer Regel nicht einverstanden sind, können Sie sie einsehen, in der Konfiguration ignorieren und begründen, warum.
Klarheit, Spezifität, Vollständigkeit, Struktur, Konsistenz, Ausgabespezifikation, Effizienz und Sicherheit.
Ab 85 stark, 70 bis 84 gut, 50 bis 69 verbesserungsbedürftig, unter 50 schwach.
Für jede Dimension die Liste der ausgeführten Prüfungen, welche scheiterten und welcher Text dafür verantwortlich war.
Unterschiede bei Qualität, Tokens und Kosten sowie behobene und neu eingeführte Befunde.
Beim Optimieren wird jeder Kandidat bewertet und mit dem Grund für Auswahl oder Ablehnung angezeigt.
Die Engine bietet eine Evaluator-Schnittstelle; der eingebaute Evaluator ist deterministisch.
Beide vergleichen und nachlesen, welche Befunde jeder behebt oder einführt.
Für jede committete Fassung die Punktzahl festhalten und auf Regressionen achten.
Eine Mindestpunktzahl für Produktions-Prompts festlegen und mit dem check-Gate durchsetzen.
Die Templates auf dieser Website müssen ohne Warnungen stark abschneiden, was bei jedem Build geprüft wird.
Die Punktzahl beginnt bei 100. Jeder Befund zieht je nach Schweregrad einen festen Betrag ab: 30 für kritisch, 10 für Warnung und 3 für Info. Ist ein Befund kritisch, wird die Gesamtpunktzahl auf 50 gedeckelt. Jede Dimension wird auf dieselbe Weise aus ihren Befunden bewertet.
Sie bedeutet, dass der Prompt keines der Probleme hat, nach denen die Regeln suchen. Die Antwortqualität hängt außerdem von Modell, Aufgabe und Eingabe ab, was nur Ausgabetests messen können.
Nein. Der eingebaute Evaluator ist deterministisch und ruft kein Modell auf.
Ab 85 Punkten gilt ein Prompt als stark. Kurze Prompts für einfache Aufgaben schneiden bei der Vollständigkeit oft schlechter ab und funktionieren trotzdem, lesen Sie also die Befunde und nicht nur die Zahl.
Alle Produkte laufen mit derselben Engine und lassen sich daher ohne Überraschungen kombinieren.
Leitfäden aus dem Wissenszentrum für Prompt Engineering, die die Ideen hinter diesem Produkt erklären.
Kostenlos, deterministisch und privat. Ohne Registrierung.