Pruebas de prompts

Summarize the incident report below for the on-call engineering team in 5 bullet points. Include the root cause, the customer impact, and the fix. Return a markdown list.

<report>
{{report}}
</report>

Summarize the incident report below for the on-call engineering team. Include the root cause, the customer impact, the fix, and some other details if relevant.

{{report}}

Calculado por el motor al construir esta página. Con la configuración siguiente, la versión 2 supera el control con una puntuación mínima de 70.

{
  "include": ["prompts/**/*.md"],
  "model": "gpt-4.1",
  "minScore": 70,
  "maxTokens": 2000,
  "failOn": "critical"
}

promptflow check
promptflow compare prompts/summary.v1.md prompts/summary.v2.md

• Sin pruebas inestables

  El mismo archivo produce siempre el mismo resultado, así que una compilación en rojo significa que el prompt cambió.

• Sin claves API en CI

  No se envía nada a ningún proveedor, así que no hay secretos que gestionar ni nada que pagar por ejecución.

• Lo bastante rápido para cada commit

  Un repositorio de archivos de prompts se revisa en segundos.

• Fallos legibles

  Cada fallo nombra el archivo, la regla y la corrección, y enlaza a la referencia de la regla.

• check

  El control: puntuación mínima, tokens máximos y gravedad de fallo sobre un conjunto de globs.

• validate

  Código de salida 1 ante cualquier hallazgo crítico, para un simple aprobado o suspenso.

• compare

  Diferencia de tokens, calidad y hallazgos entre dos versiones de un prompt.

• scan

  Ejecución solo de seguridad que falla ante un hallazgo de seguridad crítico.

• Salida JSON

  Todos los comandos aceptan --json para usarlos en scripts y paneles.

• Configuración por repositorio

  Globs de inclusión, modelo, umbrales y reglas ignoradas en .promptflowrc.json.

• Equipos que guardan prompts en gitDa a los cambios de prompts la misma revisión automática que ya reciben los cambios de código.
• Ingenieros de plataforma y DevExImpón un único estándar para los archivos de prompts en muchos repositorios con un pequeño archivo de configuración.
• Ingenieros de guardia de una función con LLMEvita el tipo de incidente en que una edición de un prompt duplica en silencio el coste en tokens o elimina una restricción.

• 01

  Comprobación en pull requests

  Ejecuta check en un job de GitHub Actions para que un cambio de prompt no pueda fusionarse por debajo del umbral.

• 02

  Aplicar un presupuesto de tokens

  Fija maxTokens para mantener los prompts de sistema dentro del margen que planificaste.

• 03

  Prevención de secretos

  Deja fail-on en critical para que una clave o contraseña incluida en un commit falle de inmediato.

• 04

  Hook de pre-commit

  Ejecuta validate sobre los archivos de prompts preparados para recibir información antes de hacer push.

• HerramientaEvaluación de promptsUna fórmula de puntuación publicada en ocho dimensiones, con comparación de versiones.
• HerramientaAnalizador de promptsEncuentra ambigüedades, contexto faltante, conflictos y tokens desperdiciados en cualquier prompt.
• HerramientaSeguridad de promptsDetecta frases de inyección, secretos filtrados y datos personales, y después los oculta.
• DocumentaciónCLI y control en CIReferencia y detalles de configuración.
• DocumentaciónModelo de puntuaciónReferencia y detalles de configuración.

• GuíaPruebas y evaluación de prompts: cómo medir un promptConjuntos de pruebas, métricas, comprobaciones estáticas, evaluadores basados en modelos y ejecución de pruebas de prompts en CI.
• GuíaGestión y versionado de promptsAlmacenar, versionar, revisar, probar y desplegar prompts en equipo.
• GuíaOptimización de prompts: un método iterativoUn bucle repetible para mejorar un prompt midiendo en lugar de a ojo.