Was ist ein Token?
Ein Token ist eine kleine Spracheinheit, die von einem KI-Sprachmodell wie ChatGPT verarbeitet wird. Tokens sind die Grundbausteine, in die Texte zerlegt werden, damit die KI sie analysieren, verstehen und beantworten kann.
Ein Token kann sein:
- ein ganzes Wort (z. B. „Haus“)
- ein Teil eines Wortes (z. B. „Be“ und „such“ in „Besuch“)
- ein Satzzeichen (z. B. „!“ oder „.“)
- manchmal sogar nur eine Silbe oder ein einzelner Buchstabe
Wie funktioniert das technisch?
Bevor ein Text von der KI verarbeitet werden kann, nutzt das System einen sogenannten Tokenizer. Dieser zerlegt den Text in einzelne Tokens und wandelt jedes Token in eine Zahl um, damit das Modell sie mathematisch verarbeiten kann.
Beispiel
Der Satz „Hallo Welt!“ wird etwa so zerlegt:
["Hallo", " Welt", "!"] → [15496, 2159, 0]
(Diese Zahlen sind interne Codes, die das Modell nutzt.)
Wichtig: Diese Umwandlung in Tokens erfolgt sowohl bei der Eingabe als auch bei der Ausgabe.
Das bedeutet:
- Dein Text an die KI wird in Tokens umgewandelt, bevor das Modell ihn verarbeitet.
- Die Antwort der KI besteht ebenfalls aus Tokens, die zu Wörtern zusammengesetzt werden.
Warum sind Tokens wichtig?
Tokens sind zentral für das Verständnis, wie viel Information ein Sprachmodell auf einmal verarbeiten kann:
- Jedes Modell hat eine Token-Grenze (z. B. 8.000, 32.000 oder mehr).
- Diese Grenze gilt für die Summe aus Eingabe- und Ausgabetokens.
- Auch die Nutzungskosten bei vielen KI-Diensten richten sich nach der Anzahl der verarbeiteten Tokens, weswegen Tokens eine wichtige Rolle bei der Beurteilung von Vor- und Nachteilen von KI spielen.
