Оценка промптов
Оценка качества, которую можно проверить вручную. Это 100 минус фиксированный штраф за каждую проблему; для каждого измерения указаны его проверки, а две версии промпта можно сравнить построчно.
Оценка отвечает на один вопрос: эта версия промпта лучше той? Число от модели, которая не объясняет себя, на него не отвечает. PromptFlowEngine оценивает промпты арифметикой, которая умещается в одну строку.
Каждая находка вычитает фиксированный штраф в зависимости от серьёзности. Итоговая оценка — 100 минус сумма штрафов, а при любой критической находке она ограничивается сверху. Каждое из восьми измерений оценивается так же по своим находкам, и в отчёте перечислены все проверки этого измерения и их результат.
Это оценка промпта в написанном виде, а не вывода модели. Она показывает, ясны ли инструкции, полны ли, согласованы и безопасны. Чтобы измерить, что модель с ними сделает, нужны тестовый набор и вызовы модели, которых этот движок не делает.
Практический пример
Движок оценил этот промпт при сборке страницы. В таблице показаны все измерения и проваленные в них проверки. Результаты проверки и сгенерированные промпты показаны на английском — так, как их возвращают движок и API.
Please write a short welcome email for new customers. It should be friendly and professional. Mention a few of our features and stuff. Keep it brief but include plenty of detail.Рассчитано движком при сборке этой страницы. 100 минус 29 штрафных баллов по находкам (5).
| Измерение | Оценка | Проваленные проверки |
|---|---|---|
| Ясность | 90 | vague language |
| Конкретность | 97 | unquantified size |
| Полнота | 100 | — |
| Структура | н/п | — |
| Согласованность | 100 | — |
| Описание вывода | 87 | missing output format, missing length guidance |
| Эффективность | 97 | filler phrases |
| Безопасность | 100 | — |
Каждый потерянный балл соответствует находке с названием. За числом не скрыта никакая модель.
Оценка не плавает между запусками и версиями провайдеров, поэтому изменение оценки означает изменение промпта.
Одна и та же формула действует в рабочей области, CLI, API, расширениях и MCP-инструментах.
Если вы не согласны с правилом, его можно посмотреть, отключить в конфигурации и объяснить почему.
Ясность, конкретность, полнота, структура, согласованность, описание вывода, эффективность и безопасность.
От 85 — отлично, 70–84 — хорошо, 50–69 — требует доработки, ниже 50 — слабо.
Для каждого измерения — список выполненных проверок, проваленных и текст, который к этому привёл.
Разница в качестве, токенах и стоимости, а также исправленные и появившиеся находки.
При оптимизации каждый кандидат оценивается и показывается с причиной выбора или отклонения.
Движок предоставляет интерфейс оценщика; встроенный оценщик детерминирован.
Сравните их и посмотрите, какие находки каждый исправляет или добавляет.
Записывайте оценку каждой закоммиченной версии и следите за регрессиями.
Выберите минимальную оценку для промптов в продакшене и применяйте её через проверку check.
Шаблоны на этом сайте должны получать оценку «отлично» без предупреждений — это проверяется при каждой сборке.
Оценка начинается со 100. Каждая находка вычитает фиксированный штраф по серьёзности: 30 за критическую, 10 за предупреждение и 3 за информационную. Если есть хотя бы одна критическая находка, итоговая оценка не превышает 50. Каждое измерение оценивается так же по своим находкам.
Это значит, что в промпте нет ни одной из проблем, которые ищут правила. Качество ответа зависит также от модели, задачи и входных данных, а это может измерить только тестирование вывода.
Нет. Встроенный оценщик детерминирован и не вызывает моделей.
Оценки от 85 считаются отличными. Короткие промпты для простых задач часто получают меньше баллов за полноту и всё равно работают, поэтому читайте находки, а не только число.
Все продукты работают на одном движке, поэтому сочетаются без сюрпризов.
Руководства из базы знаний по промпт-инжинирингу, объясняющие идеи, которые применяет этот продукт.
Бесплатно, детерминированно и приватно. Без регистрации.