提示词评估

提示词评估

一个可以手工核算的质量分。分数等于 100 减去每个问题的固定扣分,每个维度都列出背后的检查项,两个版本的提示词可以逐行比较。

  • 免费
  • 公式公开
  • 不调用模型

功能介绍

评估只回答一个问题:这个版本的提示词比那个版本更好吗?一个无法解释自己的模型给出的数字回答不了这个问题。PromptFlowEngine 用一行就能写完的算式为提示词打分。

每个问题按严重级别扣除固定分数。总分等于 100 减去扣分总和,只要有任何严重问题,总分就设有上限。八个维度各自按照同样的方法,用本维度的问题计算分数,报告会列出该维度运行过的每项检查及其是否通过。

这是对所写提示词本身的评估,而不是对模型输出的评估。它告诉你指令是否清晰、完整、一致且安全。要衡量模型如何执行这些指令,需要测试集和模型调用,而这个引擎不做这些。

实际示例

一个已评分的提示词

引擎在构建页面时评估了这个提示词。表格列出每个维度以及其中失败的检查。 引擎的检查结果和生成的提示词以英文显示,与引擎和 API 返回的内容完全一致。

提示词

71/100 · 良好
Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.

由引擎在构建本页面时计算得出。 100 减去 5 个问题共计 29 分的扣分。

主要优势

功能

适用人群

使用场景

常见问题

提示词的质量分是如何计算的?

分数从 100 开始。每个问题按严重级别扣除固定分数:严重扣 30,警告扣 10,提示扣 3。只要有任何严重问题,总分上限就是 50。每个维度都以同样的方法,用该维度中的问题计算分数。

分数高就意味着模型会回答得好吗?

这意味着提示词不存在规则所查找的任何问题。回答质量还取决于模型、任务和输入,这只有输出测试才能衡量。

会用 LLM 当评审吗?

不会。内置的评估器是确定性的,不调用任何模型。

多少分算好?

85 分及以上为优秀。用于简单任务的简短提示词,完整性得分通常较低,但依然可用,所以请阅读具体问题,而不只是看数字。

所有产品都运行同一个引擎,组合使用时不会出现意外差异。

了解背后的技巧

来自提示词工程知识中心的指南,讲解本产品所运用的理念。

用你自己的提示词试一试。

免费、确定性、保护隐私。无需注册。