プロンプト評価
手計算で確かめられる品質スコアです。スコアは 100 から問題ごとの固定ペナルティを引いた値で、各評価軸には根拠となるチェックが並び、プロンプトの 2 つのバージョンを 1 行ずつ比較できます。
評価が答えるのはひとつの問いです。このバージョンのプロンプトはあちらより良いのか。理由を説明しないモデルが出す数字では、その問いに答えられません。PromptFlowEngine は、1 行に収まる算術でプロンプトを採点します。
検出結果ごとに、重大度に応じた固定ペナルティを差し引きます。総合スコアは 100 からその合計を引いた値で、重大な検出結果があると上限が設けられます。8 つの評価軸もそれぞれ自分の検出結果から同じ方法で採点され、レポートにはその評価軸で実行したチェックと合否がすべて記載されます。
これは書かれたプロンプトそのものの評価であり、モデルの出力の評価ではありません。指示が明確か、完全か、一貫しているか、安全かが分かります。モデルがそれをどう扱うかを測るにはテストセットとモデル呼び出しが必要ですが、このエンジンはそれを行いません。
実例
このプロンプトは、ページのビルド時にエンジンが評価したものです。表には評価軸ごとに、失敗したチェックが示されています。 エンジンの検出結果と生成されたプロンプトは、エンジンと API が返すとおり英語で表示されます。
Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.このページのビルド時にエンジンが計算しました。 100 から、5 件の検出結果によるペナルティ 29 点を引いた値です。
| 評価軸 | スコア | 失敗したチェック |
|---|---|---|
| 明確さ | 90 | vague language |
| 具体性 | 97 | unquantified size |
| 網羅性 | 100 | — |
| 構造 | 対象外 | — |
| 一貫性 | 100 | — |
| 出力の指定 | 87 | missing output format, missing length guidance |
| 効率 | 97 | filler phrases |
| セキュリティ | 100 | — |
失った 1 点 1 点が、名前の付いた検出結果に対応します。数字の裏に隠れたモデルはありません。
スコアは実行やプロバイダーのバージョンによってぶれないので、スコアが変わればプロンプトが変わったということです。
ワークスペース、CLI、API、拡張機能、MCP ツールで同じ計算式が適用されます。
ルールに納得できなければ、内容を確認し、設定で無視し、その理由を説明できます。
明確さ、具体性、網羅性、構造、一貫性、出力の指定、効率、セキュリティ。
85 以上は優秀、70〜84 は良好、50〜69 は要改善、50 未満は不十分。
評価軸ごとに、実行したチェック、失敗したチェック、その原因となったテキストを一覧表示します。
品質、トークン、コストの差分と、解消された検出結果・新たに生じた検出結果。
最適化時には、すべての候補を採点し、選ばれた理由または却下された理由とともに表示します。
エンジンは評価器のインターフェースを公開しており、組み込みの評価器は決定論的です。
比較して、それぞれがどの検出結果を解消し、どれを生んだかを読みます。
コミットしたバージョンごとにスコアを記録し、リグレッションを監視します。
本番用プロンプトの最低スコアを決め、check ゲートで徹底します。
このサイトのテンプレートは、警告なしで優秀のスコアを満たすことが求められ、ビルドごとに検証されています。
スコアは 100 から始まります。検出結果ごとに重大度に応じた固定ペナルティを差し引きます。重大は 30、警告は 10、情報は 3 です。重大な検出結果がひとつでもあれば、総合スコアは 50 が上限になります。各評価軸も、その評価軸の検出結果から同じ方法で採点されます。
ルールが探す問題をプロンプトがひとつも含んでいない、という意味です。回答の品質はモデル、タスク、入力にも左右され、それは出力テストでしか測れません。
いいえ。組み込みの評価器は決定論的で、モデルを呼び出しません。
85 以上は優秀と評価されます。単純なタスク向けの短いプロンプトは網羅性のスコアが低くなりがちですが、それでも機能します。数字だけでなく検出結果を読んでください。
すべての製品が同じエンジンで動くので、組み合わせても予想外の違いは生じません。
この製品が応用している考え方を解説した、プロンプトエンジニアリング ナレッジセンターのガイドです。