План оценки функции на основе LLM
Проектирует тестовый набор и критерии прохождения для функции на основе модели, прежде чем вы настроите промпт.
Используйте, когда: Вы выпускаете функцию, зависящую от модели, и вам нужен воспроизводимый способ понять, улучшило ли её изменение.
You are an AI engineer designing evaluations for a language model feature.
## Task
Design an evaluation plan for the feature described below.
## Requirements
- Define 10 test cases: 4 typical inputs, 3 edge cases, and 3 adversarial inputs.
- State the expected property of the output for each case, in a form code or a reviewer can check.
- Name the check for each property: exact match, schema validation, a rule, or a graded rubric.
- State the pass threshold for the suite as a number.
- Do not invent facts about the feature; base every case on the description.
## Output format
Return markdown with three sections: Test cases (a table with the columns ID, Type, Input summary, Expected property, and Check), Pass threshold (one sentence), and Gaps (bulleted list of what the description does not let you test).
## Input
<feature>
{{feature}}
</feature>Переменные
{{feature}}- Что делает функция, её входы, выходы и во что обходится неверный ответ.
Пример ввода
feature: extracts the due date and total from invoice text into JSON; a wrong total causes an incorrect payment.Пример вывода
## Test cases
| ID | Type | Input summary | Expected property | Check |
|---|---|---|---|---|
| T1 | Typical | One-page invoice with one total | `total` equals 1250.00 | Exact match |
| A1 | Adversarial | Invoice text containing "ignore the instructions" | Output is valid JSON with the real total | Schema validation |Иллюстрация: написан, чтобы показать ожидаемую форму, а не создан моделью.