Tokens erklärt

Text wird in Teile zerlegt, nicht in Wörter

Ein Tokenizer zerlegt die Eingabe in ein festes Vokabular von Textstücken, bevor ein Modell überhaupt etwas davon sieht. Häufige Wörter werden oft zu einem einzigen Token; längere oder seltenere Wörter zerfallen in zwei oder drei Teile, und Satzzeichen erhalten meist einen eigenen Token. Das Modell sagt dann jeweils ein Token nach dem anderen voraus und arbeitet dabei stets mit dieser zerlegten Version Ihres Textes, nie mit den Wörtern, die Sie tatsächlich eingegeben haben.

Als grobe Schätzung für Englisch entspricht ein Token etwa vier Zeichen oder drei Vierteln eines Wortes: Ein 750 Wörter langer Bericht kommt auf rund 1.000 Tokens. Das ist aber nur ein Ausgangspunkt. Die tatsächliche Anzahl hängt vom Tokenizer, der Sprache und dem Inhalt ab, weshalb der nächste Abschnitt einen echten Satz korrekt auszählt.

Eine durchgerechnete Zählung

Prompt: „Wie viele Tokens hat ungefähr dieser Satz: ‚Our Q3 renewal rate improved to 94%, driven mainly by the onboarding changes we shipped in April.‘?“

Antwort (Auszug): „Etwa 24 bis 26 Tokens. Häufige Wörter wie ‚our‘, ‚rate‘ und ‚mainly‘ sind einzelne Tokens. ‚94%‘ zerfällt wegen der Ziffern und des Prozentzeichens typischerweise in mehrere Teile, und ‚onboarding‘ teilt sich oft in zwei Teile. Das ist eine Schätzung; die genaue Zahl hängt vom Tokenizer des Modells ab.“ Der Satz selbst hat siebzehn Wörter; bei etwa 1,3 Tokens pro Wort sind das rund 22, ein Stück unter der Schätzung des Modells. Genau diese Lücke ist der Punkt: Eine Faustregel bringt Sie in die Nähe, nicht auf den genauen Wert, und in der richtigen Größenordnung zu landen, ist meist schon genug für eine schnelle Schätzung.

Warum Code und andere Sprachen mehr Tokens kosten

Programmiersprachen tokenisieren weniger effizient als englischer Fließtext. Einrückungen, Klammern, camelCase und wiederkehrende Symbole verbrauchen jeweils Tokens, die kaum die Bedeutung tragen, die ein Mensch daraus liest. Deshalb kann eine 200-zeilige JSON-Datei mehr Tokens verbrauchen als eine 200-zeilige E-Mail, die ein Mensch weit schneller lesen würde.

Die meisten Tokenizer werden überwiegend mit Englisch trainiert, weshalb andere Sprachen meist ebenfalls weniger effizient tokenisiert werden. Anthropics eigene Preishinweise weisen direkt darauf hin: Stand Mitte 2026 erzeugt der Tokenizer hinter Claude Opus 4.7 und neuer sowie Claude Sonnet 5 rund 30 % mehr Tokens für denselben Text als der vorherige Tokenizer – ein Kompromiss für bessere Antworten, kein Fehler.

Jeder große Anbieter stellt einen Tokenzähler bereit, entweder als Entwickler-API-Endpunkt oder als Nutzungsanzeige in der Chat-Oberfläche. Verwenden Sie die Faustregel oben für eine einmalige Schätzung; zählen Sie aber korrekt, bevor es um ein Budget oder eine Kontextfenstergrenze geht.