Avaliação de prompts
Uma pontuação de qualidade que você pode conferir à mão. Ela é 100 menos uma penalidade fixa por problema, cada dimensão lista as verificações por trás dela, e duas versões de um prompt podem ser comparadas linha a linha.
A avaliação responde a uma pergunta: esta versão do prompt é melhor que aquela? Um número vindo de um modelo que não se explica não responde. O PromptFlowEngine pontua prompts com uma conta que cabe em uma linha.
Cada achado subtrai uma penalidade fixa conforme a gravidade. A pontuação geral é 100 menos a soma, com teto quando algum achado é crítico. Cada uma das oito dimensões é pontuada do mesmo jeito a partir dos próprios achados, e o relatório lista cada verificação executada naquela dimensão e se ela passou.
É uma avaliação do prompt como está escrito, não da saída do modelo. Ela diz se as instruções são claras, completas, consistentes e seguras. Medir o que um modelo faz com elas exige um conjunto de testes e chamadas a modelos, que este motor não faz.
Exemplo prático
O motor avaliou este prompt quando a página foi construída. A tabela mostra cada dimensão e as verificações que falharam nela. Os resultados do motor e os prompts gerados aparecem em inglês, exatamente como o motor e a API os retornam.
Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.Calculado pelo motor quando esta página foi construída. 100 menos 29 pontos de penalidade distribuídos em 5 achados.
| Dimensão | Pontuação | Verificações que falharam |
|---|---|---|
| Clareza | 90 | vague language |
| Especificidade | 97 | unquantified size |
| Completude | 100 | — |
| Estrutura | n/d | — |
| Consistência | 100 | — |
| Especificação de saída | 87 | missing output format, missing length guidance |
| Eficiência | 97 | filler phrases |
| Segurança | 100 | — |
Cada ponto perdido corresponde a um achado com nome. Não há nenhum modelo oculto por trás do número.
A pontuação não oscila entre execuções nem versões de provedor, então uma mudança de pontuação significa uma mudança no prompt.
A mesma fórmula vale no workspace, na CLI, na API, nas extensões e nas ferramentas MCP.
Se você discorda de uma regra, pode vê-la, ignorá-la na configuração e explicar o porquê.
Clareza, especificidade, completude, estrutura, consistência, especificação de saída, eficiência e segurança.
85 ou mais é forte, de 70 a 84 bom, de 50 a 69 precisa melhorar e abaixo de 50 fraco.
Para cada dimensão, a lista de verificações executadas, quais falharam e o texto que causou a falha.
Diferenças de qualidade, tokens e custo, além dos achados resolvidos e introduzidos.
Ao otimizar, cada candidato é pontuado e mostrado com o motivo de ter sido escolhido ou rejeitado.
O motor expõe uma interface de avaliador; o embutido é determinístico.
Compare os dois e veja quais achados cada um resolve ou introduz.
Registre a pontuação de cada versão commitada e fique de olho nas regressões.
Escolha uma pontuação mínima para prompts de produção e aplique-a com a verificação check.
Os templates deste site precisam ter pontuação forte sem avisos, o que é verificado em todo build.
A pontuação começa em 100. Cada achado subtrai uma penalidade fixa conforme a gravidade: 30 para crítico, 10 para aviso e 3 para informativo. Se algum achado for crítico, a pontuação geral fica limitada a 50. Cada dimensão é pontuada do mesmo jeito a partir dos seus achados.
Significa que o prompt não tem nenhum dos problemas que as regras procuram. A qualidade da resposta também depende do modelo, da tarefa e da entrada, o que só testes de saída conseguem medir.
Não. O avaliador embutido é determinístico e não faz chamadas a modelos.
Pontuações de 85 ou mais são classificadas como fortes. Prompts curtos para tarefas simples costumam pontuar menos em completude e mesmo assim funcionam, então leia os achados, e não só o número.
Todos os produtos rodam o mesmo motor, então se combinam sem surpresas.
Guias da central de conhecimento de engenharia de prompts que explicam as ideias que este produto aplica.
Gratuito, determinístico e privado. Sem cadastro.