Token-Optimierung: Kosten, Kontextfenster und Komprimierung

Sprachmodelle lesen und schreiben Tokens, und beides wird Ihnen berechnet. Token-Optimierung heißt, sie dort einzusetzen, wo sie die Antwort verbessern, und sonst nirgends. Richtig gemacht, senkt sie Kosten und Latenz und verbessert oft die Qualität, weil ein fokussierter Prompt leichter zu befolgen ist.

Was ein Token ist

Ein Token ist ein Textstück aus dem Vokabular des Modells: ein Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen samt Wort. Für englische Prosa gilt als grobe Faustregel: vier Zeichen oder dreiviertel Wort pro Token. Die Regel versagt oft:

• Code, JSON und ungewöhnliche Bezeichner brauchen mehr Tokens als Prosa.
• Andere Sprachen als Englisch brauchen oft mehr Tokens pro Wort.
• Jeder Anbieter hat einen eigenen Tokenizer, daher ergibt derselbe Text bei jedem Modell eine andere Zählung.

Zählen Sie mit dem echten Tokenizer

Schätzungen genügen für einen ersten Eindruck und taugen nicht für ein Budget. OpenAI veröffentlicht seine Tokenizer, daher können Zählungen offline exakt sein. Anthropic und Google bieten Endpunkte zur Token-Zählung; ohne sie ist eine Zählung eine Näherung.

PromptFlowEngine folgt dieser Unterscheidung: Zählungen für OpenAI-Modelle werden mit deren Tokenizer berechnet und als exakt gekennzeichnet, andere Anbieter als ungefähr. Sie können einen Prompt im Arbeitsbereich oder über die HTTP-API prüfen:

curl -s https://promptflowengine.com/api/v1/tokens \
  -H 'content-type: application/json' \
  -d '{"prompt":"Summarize the notes below in 5 bullets.","model":"gpt-4.1"}'

Woher die Kosten kommen

Die Kosten pro Aufruf sind Eingabe-Tokens mal Eingabepreis plus Ausgabe-Tokens mal Ausgabepreis. Drei Tatsachen prägen jede Optimierung:

1. Ausgabe-Tokens kosten meist ein Vielfaches der Eingabe-Tokens. Die Antwortlänge zu begrenzen spart oft mehr als den Prompt zu kürzen.
2. Der feste Teil eines Prompts wird bei jedem Aufruf bezahlt. Fünfzig verschwendete Tokens in einem System-Prompt, der eine Million Mal läuft, sind fünfzig Millionen Tokens.
3. In einer Unterhaltung oder Agentenschleife wird der Verlauf in jedem Zug erneut gesendet. Die Kosten wachsen schneller als die Zahl der Züge.

Prompt-Komprimierung: was zu entfernen ist

Arbeiten Sie vom sichersten zum riskantesten Schnitt.

Füllwörter und Höflichkeitsfloskeln. „Hallo“, „bitte“, „ich möchte, dass Sie“, „es ist wichtig zu beachten, dass“. Sie enthalten keine Anweisung.

Before: Hello! I would like you to please summarize the notes below.
        Please make sure to keep it brief.
After:  Summarize the notes below in 3 sentences.

Wiederholung. Dieselbe Anweisung zweimal, oft in verschiedenen Abschnitten nach Monaten von Änderungen.

Umständliche Formulierungen. „Um zu“ wird zu „zu“. „Aufgrund der Tatsache, dass“ wird zu „weil“.

Ungenutzter Kontext. Hintergrund, von dem kein Testfall abhängt. Entfernen Sie ihn und führen Sie die Tests erneut aus.

Zu viele Beispiele. Versuchen Sie drei statt acht Beispielen und messen Sie.

Ausschweifende Formate. Eingerücktes JSON mit langen Schlüsseln kostet mehr als kompaktes JSON mit kurzen Schlüsseln. Bei Daten, die in einen Prompt eingefügt werden, spart ein kompaktes Format bei jedem Aufruf Tokens.

Die ersten drei sind mechanisch. Der PromptFlowEngine-Prompt-Optimierer wendet sie an und prüft, dass jeder Satz, jede Anforderung, jeder Codeblock und jede Variable des Originals noch vorhanden ist, was von Hand mühsam zu kontrollieren ist.

Was Sie nicht entfernen sollten

• Anforderungen und Einschränkungen. Ein kürzerer Prompt, der eine Regel weglässt, ist ein anderer Prompt.
• Das Ausgabeformat. Es zu entfernen spart zehn Tokens und kostet Sie einen Parser.
• Trennzeichen um Eingaben. Sie sind billig und verhindern Injection.
• Struktur. Abschnittsüberschriften kosten wenige Tokens und können die Befolgung verbessern. Übermäßig komprimierter Text ohne Artikel und Bindewörter wird für das Modell mehrdeutig und für die nächste Person, die ihn bearbeitet, unlesbar.

Optimierung des Kontextfensters

Das Kontextfenster ist die maximale Zahl von Tokens, die ein Modell gleichzeitig berücksichtigen kann, Eingabe und Ausgabe zusammen. Die Fenster sind sehr groß geworden, was das Problem von „passt es hinein“ zu „sollte es dort sein“ verschoben hat.

Mehr Kontext ist nicht kostenlos. Neben Kosten und Latenz kann die Qualität sinken, wenn die Eingabe wächst: Eine relevante Passage, umgeben von Tausenden irrelevanter Tokens, ist für das Modell schwerer zu nutzen. Senden Sie, was die Aufgabe braucht.

Abrufen statt alles einbinden. Suchen Sie die zur Frage passenden Passagen und fügen Sie nur diese ein. Siehe RAG-Prompting.

Die Reihenfolge zählt in langen Prompts. Viele Modelle achten am meisten auf Anfang und Ende einer langen Eingabe. Setzen Sie lange Dokumente zuerst und die Frage oder die Anweisungen danach, oder wiederholen Sie die Kernanweisung am Ende.

Verwalten Sie den Gesprächsverlauf. Fassen Sie ältere Züge zusammen, verwerfen Sie nicht mehr benötigte Werkzeugergebnisse und beginnen Sie eine neue Unterhaltung, wenn sich das Thema ändert.

Reservieren Sie Platz für die Antwort. Füllt die Eingabe das Fenster, wird die Ausgabe abgeschnitten. Lassen Sie Raum für die längste erwartete Antwort.

Teilen Sie die Arbeit auf. Eine Prompt-Kette gibt jedem Schritt nur den Kontext, den er braucht.

Caching nutzen

Große Anbieter bieten Prompt-Caching: Stimmt der Anfang eines Prompts mit einer kürzlichen Anfrage überein, wird der wiederholte Teil zu einem reduzierten Satz abgerechnet und schneller verarbeitet. Um davon zu profitieren:

• Stellen Sie stabilen Inhalt nach vorn: System-Prompt, Werkzeugdefinitionen, Beispiele, Referenzdokumente.
• Stellen Sie variablen Inhalt ans Ende: die Frage des Nutzers und die Daten der jeweiligen Anfrage.
• Vermeiden Sie es, im stabilen Teil zwischen Aufrufen etwas zu ändern, etwa einen Zeitstempel.

Caching macht einen langen, festen Prompt deutlich billiger. Es beseitigt nicht die Qualitätskosten irrelevanten Kontexts.

Ausgabelänge steuern

• Nennen Sie eine Zahl: „unter 100 Wörter“, „genau 5 Stichpunkte“.
• Fragen Sie nur nach dem, was Sie brauchen: ein Label, nicht ein Label mit Erklärung.
• Setzen Sie das maximale Ausgabe-Token-Limit der API als harten Stopp.
• Senken Sie bei Reasoning-Modellen den Reasoning-Aufwand für einfache Aufgaben.

Budget festlegen und durchsetzen

Legen Sie fest, wie viele Tokens jeder Produktions-Prompt verbrauchen darf, und prüfen Sie es automatisch. Das Prompt-Test-Gate lässt einen Build fehlschlagen, wenn eine Prompt-Datei ihr Token-Limit überschreitet:

{ "include": ["prompts/**/*.md"], "model": "gpt-4.1", "maxTokens": 1500 }

So wird Token-Wachstum von etwas, das Sie auf einer Rechnung entdecken, zu etwas, das Sie in einem Pull Request prüfen. Zum umfassenderen Vorgehen, einen Prompt durch Messung zu verbessern, siehe Prompt-Optimierung.