プロンプトテスト

Summarize the incident report below for the on-call engineering team in 5 bullet points. Include the root cause, the customer impact, and the fix. Return a markdown list.

<report>
{{report}}
</report>

Summarize the incident report below for the on-call engineering team. Include the root cause, the customer impact, the fix, and some other details if relevant.

{{report}}

このページのビルド時にエンジンが計算しました。 以下の設定では、最低スコア 70 のゲートにバージョン 2 は合格します。

{
  "include": ["prompts/**/*.md"],
  "model": "gpt-4.1",
  "minScore": 70,
  "maxTokens": 2000,
  "failOn": "critical"
}

promptflow check
promptflow compare prompts/summary.v1.md prompts/summary.v2.md

• 不安定なテストがない

  同じファイルからは常に同じ結果が得られるので、ビルドが赤くなればプロンプトが変わったということです。

• CI に API キーが不要

  プロバイダーには何も送らないため、管理すべき秘密情報も、実行ごとの費用もありません。

• すべてのコミットで回せる速さ

  プロンプトファイルの詰まったリポジトリも数秒でチェックできます。

• 読みやすい失敗内容

  失敗ごとにファイル、ルール、修正方法を示し、ルールのリファレンスにリンクします。

• check

  ゲート本体：glob の集合に対して、最低スコア、最大トークン数、失敗とみなす重大度を判定します。

• validate

  重大な検出結果があれば終了コード 1 を返す、シンプルな合否判定です。

• compare

  プロンプトの 2 つのバージョン間のトークン、品質、検出結果の差分。

• scan

  重大なセキュリティの検出結果があると失敗する、セキュリティ専用の実行。

• JSON 出力

  すべてのコマンドが --json に対応し、スクリプトやダッシュボードで使えます。

• リポジトリ単位の設定

  対象の glob、モデル、しきい値、無視するルールを .promptflowrc.json に記述します。

• プロンプトを git で管理しているチームコードの変更がすでに受けているのと同じ自動レビューを、プロンプトの変更にも適用できます。
• プラットフォーム・DevEx エンジニア小さな設定ファイルひとつで、多数のリポジトリにわたってプロンプトファイルの基準を統一できます。
• LLM 機能のオンコール担当エンジニアプロンプトの編集でトークンコストがひっそり倍増したり、制約が消えたりする種類のインシデントを防げます。

• 01

  プルリクエストのチェック

  GitHub Actions のジョブで check を実行し、基準を下回るプロンプトの変更がマージされないようにします。

• 02

  トークン予算の徹底

  maxTokens を設定し、システムプロンプトを計画した範囲内に収めます。

• 03

  秘密情報の混入防止

  fail-on を critical のままにしておけば、コミットされたキーやパスワードで即座に失敗します。

• 04

  pre-commit フック

  ステージしたプロンプトファイルに validate を実行し、push 前にフィードバックを得ます。

• ツールプロンプト評価8 つの評価軸にわたる公開済みの採点式と、バージョン比較。
• ツールプロンプトアナライザーあらゆるプロンプトから、曖昧さ、不足コンテキスト、矛盾、無駄なトークンを見つけます。
• ツールプロンプトセキュリティインジェクション表現、漏えいした秘密情報、個人データを検出し、伏せ字にします。
• ドキュメントCLI と CI ゲートリファレンスと設定方法。
• ドキュメントスコアリングモデルリファレンスと設定方法。

• ガイドプロンプトのテストと評価：プロンプトを測る方法テストセット、指標、静的チェック、モデルによる採点、CI でのプロンプトテストの実行。
• ガイドプロンプトの管理とバージョニングチームでプロンプトを保存・バージョン管理・レビュー・テスト・展開する方法。
• ガイドプロンプト最適化：反復的な手法感覚ではなく測定でプロンプトを改善する、再現可能なループ。