Тестирование промптов

Summarize the incident report below for the on-call engineering team in 5 bullet points. Include the root cause, the customer impact, and the fix. Return a markdown list.

<report>
{{report}}
</report>

Summarize the incident report below for the on-call engineering team. Include the root cause, the customer impact, the fix, and some other details if relevant.

{{report}}

Рассчитано движком при сборке этой страницы. С конфигурацией ниже версия 2 проходит проверку при минимальной оценке 70.

{
  "include": ["prompts/**/*.md"],
  "model": "gpt-4.1",
  "minScore": 70,
  "maxTokens": 2000,
  "failOn": "critical"
}

promptflow check
promptflow compare prompts/summary.v1.md prompts/summary.v2.md

• Никаких нестабильных тестов

  Один и тот же файл всегда даёт один и тот же результат, поэтому красная сборка означает, что промпт изменился.

• Никаких API-ключей в CI

  Провайдерам ничего не отправляется: нет секретов для управления и нет платы за запуск.

• Достаточно быстро для каждого коммита

  Репозиторий с файлами промптов проверяется за секунды.

• Понятные ошибки

  Каждая ошибка называет файл, правило и исправление и ссылается на справку по правилу.

• check

  Сама проверка: минимальная оценка, максимум токенов и серьёзность, при которой проверка проваливается, для набора glob-шаблонов.

• validate

  Код выхода 1 при любой критической находке — простое «прошло / не прошло».

• compare

  Разница в токенах, качестве и находках между двумя версиями промпта.

• scan

  Запуск только проверок безопасности, который проваливается при критической находке.

• Вывод в JSON

  Все команды принимают --json для скриптов и дашбордов.

• Конфигурация на уровне репозитория

  Glob-шаблоны, модель, пороги и игнорируемые правила в .promptflowrc.json.

• Командам, хранящим промпты в gitПусть изменения промптов проходят такое же автоматическое ревью, как изменения кода.
• Инженерам платформы и DevExВведите единый стандарт файлов промптов во множестве репозиториев с помощью небольшого файла конфигурации.
• Дежурным инженерам LLM-функцийПредотвратите инциденты, когда правка промпта незаметно удваивает стоимость токенов или убирает ограничение.

• 01

  Проверка pull request

  Запускайте check в задании GitHub Actions, чтобы изменение промпта ниже планки нельзя было влить.

• 02

  Соблюдение бюджета токенов

  Задайте maxTokens, чтобы системные промпты оставались в запланированных пределах.

• 03

  Защита от секретов

  Оставьте fail-on равным critical, чтобы закоммиченный ключ или пароль сразу проваливал проверку.

• 04

  Pre-commit-хук

  Запускайте validate для подготовленных файлов промптов, чтобы получить обратную связь до push.

• ИнструментОценка промптовОпубликованная формула оценки по восьми измерениям со сравнением версий.
• ИнструментАнализатор промптовНаходит неоднозначности, недостающий контекст, противоречия и лишние токены в любом промпте.
• ИнструментБезопасность промптовОбнаруживает фразы-инъекции, утёкшие секреты и персональные данные и маскирует их.
• ДокументацияCLI и проверка в CIСправка и настройка.
• ДокументацияМодель оценкиСправка и настройка.

• РуководствоТестирование и оценка промптов: как измерить промптТестовые наборы, метрики, статические проверки, оценка моделью и запуск тестов промптов в CI.
• РуководствоУправление промптами и версионированиеХранение, версионирование, проверка, тестирование и выкатывание промптов в команде.
• РуководствоОптимизация промптов: итеративный методВоспроизводимый цикл улучшения промпта на основе измерений, а не ощущений.