Token ist eine kleine Einheit von Information, die ein KI-System verarbeitet.
Bei Texten ist ein Token kein Buchstabe und nicht immer ein ganzes Wort, sondern ein Textbaustein. Zum Beispiel kann „Klimawandel“ je nach Sprache und Modell in mehrere Tokens zerlegt werden.
Einfach gesagt: Tokens sind die „Währung“ der Verarbeitung durch KI. Mehr Text = mehr Tokens = mehr Rechenaufwand.