Testes de prompts

Summarize the incident report below for the on-call engineering team in 5 bullet points. Include the root cause, the customer impact, and the fix. Return a markdown list.

<report>
{{report}}
</report>

Summarize the incident report below for the on-call engineering team. Include the root cause, the customer impact, the fix, and some other details if relevant.

{{report}}

Calculado pelo motor quando esta página foi construída. Com a configuração abaixo, a versão 2 passa na verificação com pontuação mínima de 70.

{
  "include": ["prompts/**/*.md"],
  "model": "gpt-4.1",
  "minScore": 70,
  "maxTokens": 2000,
  "failOn": "critical"
}

promptflow check
promptflow compare prompts/summary.v1.md prompts/summary.v2.md

• Sem testes instáveis

  O mesmo arquivo sempre gera o mesmo resultado, então um build vermelho significa que o prompt mudou.

• Sem chaves de API no CI

  Nada é enviado a um provedor, então não há segredos para gerenciar nem nada a pagar por execução.

• Rápido o bastante para todo commit

  Um repositório de arquivos de prompts é verificado em segundos.

• Falhas legíveis

  Cada falha indica o arquivo, a regra e a correção, com link para a referência da regra.

• check

  A verificação: pontuação mínima, máximo de tokens e gravidade de falha sobre um conjunto de globs.

• validate

  Código de saída 1 diante de qualquer achado crítico, para um simples passa ou falha.

• compare

  Diferença de tokens, qualidade e achados entre duas versões de um prompt.

• scan

  Execução só de segurança, que falha diante de um achado de segurança crítico.

• Saída JSON

  Todos os comandos aceitam --json para uso em scripts e dashboards.

• Configuração por repositório

  Globs de inclusão, modelo, limites e regras ignoradas em .promptflowrc.json.

• Equipes que guardam prompts no gitDê às mudanças em prompts a mesma revisão automática que as mudanças de código já recebem.
• Engenheiros de plataforma e DevExImponha um padrão único para arquivos de prompts em vários repositórios com um pequeno arquivo de configuração.
• Engenheiros de plantão em uma funcionalidade com LLMEvite o tipo de incidente em que uma edição de prompt dobra o custo em tokens em silêncio ou remove uma restrição.

• 01

  Verificação em pull requests

  Rode check em um job do GitHub Actions para que uma mudança de prompt abaixo do padrão não possa ser mesclada.

• 02

  Aplicação do orçamento de tokens

  Defina maxTokens para manter os prompts de sistema dentro da margem planejada.

• 03

  Prevenção de segredos

  Deixe fail-on em critical para que uma chave ou senha commitada falhe na hora.

• 04

  Hook de pre-commit

  Rode validate nos arquivos de prompts preparados para ter retorno antes do push.

• FerramentaAvaliação de promptsUma fórmula de pontuação publicada em oito dimensões, com comparação de versões.
• FerramentaAnalisador de promptsEncontre ambiguidades, contexto ausente, conflitos e tokens desperdiçados em qualquer prompt.
• FerramentaSegurança de promptsDetecte frases de injeção, segredos vazados e dados pessoais e depois oculte-os.
• DocumentaçãoCLI e verificação no CIReferência e detalhes de configuração.
• DocumentaçãoModelo de pontuaçãoReferência e detalhes de configuração.

• GuiaTeste e avaliação de prompts: como medir um promptConjuntos de testes, métricas, verificações estáticas, avaliadores por modelo e execução de testes de prompts na CI.
• GuiaGerenciamento e versionamento de promptsArmazenar, versionar, revisar, testar e implantar prompts em equipe.
• GuiaOtimização de prompts: um método iterativoUm ciclo repetível para melhorar um prompt por medição em vez de por intuição.