提示词
71/100 · 良好Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.由引擎在构建本页面时计算得出。 100 减去 5 个问题共计 29 分的扣分。
评估只回答一个问题:这个版本的提示词比那个版本更好吗?一个无法解释自己的模型给出的数字回答不了这个问题。PromptFlowEngine 用一行就能写完的算式为提示词打分。
每个问题按严重级别扣除固定分数。总分等于 100 减去扣分总和,只要有任何严重问题,总分就设有上限。八个维度各自按照同样的方法,用本维度的问题计算分数,报告会列出该维度运行过的每项检查及其是否通过。
这是对所写提示词本身的评估,而不是对模型输出的评估。它告诉你指令是否清晰、完整、一致且安全。要衡量模型如何执行这些指令,需要测试集和模型调用,而这个引擎不做这些。
实际示例
引擎在构建页面时评估了这个提示词。表格列出每个维度以及其中失败的检查。 引擎的检查结果和生成的提示词以英文显示,与引擎和 API 返回的内容完全一致。
Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.由引擎在构建本页面时计算得出。 100 减去 5 个问题共计 29 分的扣分。
| 维度 | 分数 | 失败的检查 |
|---|---|---|
| 清晰度 | 90 | vague language |
| 具体性 | 97 | unquantified size |
| 完整性 | 100 | — |
| 结构 | 不适用 | — |
| 一致性 | 100 | — |
| 输出规范 | 87 | missing output format, missing length guidance |
| 效率 | 97 | filler phrases |
| 安全性 | 100 | — |
扣掉的每一分都对应一个有名称的问题。分数背后没有隐藏的模型。
分数不会因运行次数或服务商版本而波动,因此分数变化就意味着提示词变了。
工作区、CLI、API、扩展和 MCP 工具使用同一个公式。
如果你不认同某条规则,可以查看它、在配置中忽略它,并说明理由。
清晰度、具体性、完整性、结构、一致性、输出规范、效率和安全性。
85 分及以上为优秀,70 到 84 为良好,50 到 69 为待改进,低于 50 为较弱。
对每个维度,列出运行过的检查、失败的检查以及导致失败的文本。
质量、token 和成本的差异,以及已解决和新引入的问题。
优化时,每个候选都会被打分,并显示被选中或被拒绝的原因。
引擎提供评估器接口;内置的评估器是确定性的。
对比两者,看看各自解决或引入了哪些问题。
记录每个已提交版本的分数,留意是否出现回归。
为生产环境的提示词选定最低分,并用 check 门禁来执行。
本网站上的模板必须在没有警告的情况下达到优秀分数,每次构建都会验证。
分数从 100 开始。每个问题按严重级别扣除固定分数:严重扣 30,警告扣 10,提示扣 3。只要有任何严重问题,总分上限就是 50。每个维度都以同样的方法,用该维度中的问题计算分数。
这意味着提示词不存在规则所查找的任何问题。回答质量还取决于模型、任务和输入,这只有输出测试才能衡量。
不会。内置的评估器是确定性的,不调用任何模型。
85 分及以上为优秀。用于简单任务的简短提示词,完整性得分通常较低,但依然可用,所以请阅读具体问题,而不只是看数字。
所有产品都运行同一个引擎,组合使用时不会出现意外差异。
来自提示词工程知识中心的指南,讲解本产品所运用的理念。