Token
Texteinheit, mit der ein Sprachmodell arbeitet: ein Wort, ein Wortteil oder ein Zeichen. Ein LLM liest, zählt und erzeugt Text in Tokens.
Ein Token ist das kleine Textstück, mit dem ein Sprachmodell arbeitet. Bevor ein Text verarbeitet wird, zerlegt ihn ein Werkzeug namens Tokenizer: Ein häufiges Wort bildet oft ein einziges Token, während ein langes, seltenes oder zusammengesetztes Wort in mehrere Stücke geteilt wird. Auch Satzzeichen, Leerzeichen und Ziffern haben ihre eigenen Tokens. Jedes Modell hat sein eigenes Vokabular, von einigen Zehntausend bis zu mehr als hunderttausend Tokens.
Alles wird in Tokens gezählt. Das Modell erzeugt seine Antwort Token für Token, und jedes hängt von allen vorherigen ab. Das Kontextfenster, also die Textmenge, die das Modell gleichzeitig berücksichtigen kann, wird in Tokens angegeben. Und Online-KI-Dienste rechnen meist nach Nutzung ab, je nach Zahl der gesendeten und empfangenen Tokens. Im Deutschen hat ein Text mit seinen langen zusammengesetzten Wörtern in der Regel spürbar mehr Tokens als Wörter.
Um eine lokale KI-Maschine zu beurteilen, ist die Generierungsgeschwindigkeit in Tokens pro Sekunde die wichtigste Kennzahl. Sie hängt vor allem von der Speicherbandbreite der GPU und der Größe des Modells ab. Ab etwa zwanzig Tokens pro Sekunde erscheint der Text schneller, als man ihn lesen kann. Achten Sie auch auf die Geschwindigkeit beim Einlesen des Prompts, die wichtig ist, wenn Sie lange Dokumente zur Analyse übergeben.
Mit einer KI-Workstation bei Ihnen vor Ort fällt die Abrechnung pro Token weg: Sie nutzen Ihr Modell so viel Sie möchten, und die Nutzungskosten beschränken sich auf den verbrauchten Strom.