Die Token der KI verstehen, um Leistung, Fähigkeiten und Kosten zu entdecken

Tokens sind die fundamentalen Einheiten der KI, die Texte in analysierbare Teile zerlegen. Ihr Verständnis ist entscheidend für die Kostenbewertung und die Auswahl geeigneter KI-Plattformen.

Wenn verschiedene KI-Apps oder -Websites verwendet werden, taucht immer ein wichtiges Wort auf: Token. Diese stellen die grundlegende Einheit der künstlichen Intelligenz dar und verwandeln Texte in Fragmente, um kohärente Antworten zu generieren. Sie sind sowohl für die technische Funktionsweise als auch zur Kostenbewertung entscheidend. Tokens beeinflussen die Zugänglichkeit der KI-Plattformen, und es ist wichtig, zumindest oberflächlich zu verstehen, was sie sind, wie sie berechnet werden und wie bedeutsam sie sind, um die Kosten der Nutzung einer KI in Bezug auf $/M Input/Output Tokens zu verstehen.

Über das technische Konzept hinaus ist das Verständnis der Kosten pro Token für jeden wichtig. Es hilft, die echten kostenlosen KI-Anbieter zu erkennen und zu entscheiden, welche KI verwendet werden soll. Darüber hinaus analysieren wir kostenlose oder kostengünstige Plattformen und unterscheiden zwischen KI-Anbietern, die die Modelle erstellen, und Aggregatoren/Proxy, die den Zugang zu mehreren Modellen erleichtern und Listen aller verfügbaren Anbieter mit den entsprechenden Kosten bereitstellen.

Was sind die Token und warum sind sie wichtig

Diese Erklärung halte ich so kurz und einfach wie möglich: Um Tokens zu verstehen, kann man sich einen Text wie ein Puzzle vorstellen, das wieder zusammengesetzt werden muss. Jeder Token ist ein Puzzlestück: Es kann ein komplettes Wort (z.B. „Haus“), ein Wortteil (z.B. „intel“ in „Intelligenz“), eine Zahl oder ein Symbol, wie ein Komma, sein. Wenn man einen Satz wie „Die KI lernt schnell“ schreibt, zerlegt das Modell ihn in Tokens, z.B. ["Die", "KI", "lernt", "schnell"]. Dieser Prozess, genannt Tokenisierung, verwandelt den Text in Einheiten, die die KI analysieren kann, was das Verständnis von Fragen und die Erstellung von Antworten ermöglicht.

Die Tokenisierung basiert auf fortgeschrittenen Algorithmen, wie der Byte-Pair-Encoding (BPE) oder SentencePiece, die selbst komplexe oder seltene Wörter in kleinere Fragmente unterteilen. Ein ungewöhnliches Wort wie „Kryptoanalyse“ könnte beispielsweise zu ["Krypto", "##anlyse"] werden, was es dem Modell ermöglicht, damit umzugehen, selbst wenn es das Wort noch nie zuvor gesehen hat. Dieser Ansatz ist besonders nützlich für verschiedene Sprachen oder technische Begriffe und gewährleistet Flexibilität und Genauigkeit.

Aber warum sind Tokens so wichtig? Die Antwort liegt im Kontextfenster, also der maximalen Anzahl von Tokens, die ein Modell in einer einzigen Interaktion verarbeiten kann. Ein Modell mit einem großen Kontextfenster, wie DeepSeek R1 mit 163.840 Tokens, kann sehr lange Dokumente analysieren oder komplexe Unterhaltungen führen, ohne den Überblick zu verlieren. Im Gegensatz dazu sind Modelle mit kleineren Fenstern, wie Gemma-Pro mit 8.000 Tokens, auf kurze Texte beschränkt. Die Größe des Kontextfensters ist somit ein direkter Indikator für die Leistung eines Modells: Je mehr Tokens es verarbeiten kann, desto besser kann es komplexe Aufgaben bewältigen, wie die Zusammenfassung eines Buches oder das Schreiben komplexer Codes.

Darüber hinaus beeinflussen Tokens direkt die Kosten. Viele Plattformen berechnen die Gebühren basierend auf der Anzahl der verarbeiteten Tokens, wobei zwischen Input-Token (dem gesendeten Text, wie einer Frage) und Output-Token (der generierten Antwort) unterschieden wird. Auf kostenlosen Plattformen, wie OpenRouter, bestimmt die Anzahl der verbrauchten Tokens, wie viele Anfragen gestellt werden können, bevor die täglichen Limits erschöpft sind. Das Verständnis, wie Tokens funktionieren, hilft also dabei, das richtige Modell auszuwählen und die Ausgaben zu optimieren, insbesondere für diejenigen, die kostengünstige Lösungen suchen.

Anbieter KI vs Aggregatoren/Proxy

Um auf künstliche Intelligenzen zuzugreifen, gibt es zwei Arten von Plattformen: KI-Anbieter und Aggregatoren/Proxy. Der Unterschied ist klar:

• • KI-Anbieter: Das sind die Unternehmen, die die Modelle entwickeln und hosten, wie OpenAI mit GPT-4o oder Mixtral. Sie verwalten das Training.
    • Optimierung und Infrastruktur: Anbieter bieten direkte APIs zum Zugriff auf ihre Modelle. Jeder Anbieter erfordert jedoch ein separates Konto, was die Integration komplizieren kann.
    • Aggregatoren/Proxy: Plattformen wie OpenRouter, Poe oder Fireworks erstellen keine Modelle, sondern vereinen den Zugriff auf die Modelle mehrerer Anbieter über eine einzige Schnittstelle oder API. Dies vereinfacht die Nutzung und ermöglicht den Wechsel zwischen Modellen, ohne die Plattform zu wechseln, und bietet oft Optimierungen wie Caching zur Kostensenkung.

Die Aggregatoren sind ideal für Nutzer, die verschiedene Modelle ausprobieren oder verwenden möchten, ohne komplexe Einstellungen vornehmen zu müssen und mit einem einzigen API-Schlüssel (d.h. zum Zugriff auf externe Apps). Die Provider bieten hingegen mehr Kontrolle und direkten Zugriff auf die neuesten Modellversionen.

Kosten der Token: Input und Output

Die Kosten der IA-Plattformen basieren auf der Anzahl der Token, die verarbeitet werden, unterteilt in Input Tokens (der gesendete Text, wie eine Frage oder ein Dokument) und Output Tokens (die generierte Antwort). Die Preise werden in Dollar pro Million Token ($/M) angegeben. Die Provider legen die Grundpreise fest, während die Aggregatoren Margen hinzufügen oder die Kosten durch Techniken wie Kontext-Caching senken können. Hier sind einige Beispiele:

Provider AI

• • • OpenAI (GPT-4o): $5/M Input Tokens, $15/M Output Tokens. Die kostenlosen Versionen, verfügbar auf ChatGPT, haben begrenzte Kontingente und sind nur für leichte Anwendungen geeignet.
    • Anthropic (Claude 3.5 Sonnet): $3/M Input Tokens, $15/M Output Tokens. Bietet hervorragende Leistungen für Denken und Schreiben, aber der kostenlose Plan ist begrenzt.
    • DeepSeek V3: $0,07/M Input Tokens (Cache-Hit), $0,27/M (Cache-Miss), $1,10/M Output Tokens. DeepSeek R1: $0,14/M Input Tokens (Cache-Hit), $0,55/M (Cache-Miss), $2,19/M Output Tokens. Die kostenlose Demo eignet sich ideal für erste Tests.
    • Mixtral: $0,5-$1/M Input/Output Tokens über Hugging Face. Hervorragend für mehrsprachige und Open-Source-Anwendungen.
    • Google (Gemma 3): Kostenlos auf Hugging Face für private Nutzung; API zu $0,1-$0,5/M Input/Output Tokens über Vertex AI.
    • Grok (xAI): Kostenlos mit eingeschränkten Kontingenten, wenn genutzt über x.com und mobile Apps. API zu $0,5-$2/M Input Tokens, $1-$3/M Output Tokens (siehe xAI API).

Aggregatoren/Proxy

• • • OpenRouter: 50 kostenlose Anfragen/Tag für kostenlose Modelle, die auf 1000 steigen, wenn man einmalig 10 Euro zahlt (Credits für ein Jahr gültig). Preise der nicht kostenlosen AI-Provider sind variabel (z.B. DeepSeek R1: $0,55/M Input Tokens).
    • Chutes: Ähnlich wie OpenRouter, mit 200 kostenlosen Anfragen/Tag bei einer Zahlung von 5 Euro.
    • Poe: 150 kostenlose Nachrichten/Monat (3000 Punkte, 20 Punkte/Nachricht) für Claude, Mixtral, Gemma. Abonnement für $19,99/Monat für 1M Punkte, 2M Token.
    • Fireworks: $1 kostenloses Kredit, Preise von $0,2-$0,5/M Input/Output Tokens für DeepSeek, Llama.
    • Together AI: $25 kostenlose Credits, Preise ab $0,3/M für Mythomax-L2-13B.
  • • DeepInfra: Preise von $0,2-$0,5/M Eingabe/Ausgabe-Token für Mixtral, Llama.
    • LiteLLM: Open Source, selbst gehostet, kostenlos für über 100 Modelle.
    • Portkey: Kostenlose Testversionen, Preise ab $0,1/M.
    • AI/ML API: Kostenlose Testversionen, Preise ab $0,1/M.
    • Writingmate: 3000 kostenlose Punkte pro Monat, Pläne ab $9,99 pro Monat.

Kostenlose Modelle auf Aggregatoren

Aggregatoren vereinfachen den Zugang zu kostenlosen Modellen. Es ist nicht möglich, alle hier aufzulisten, aber jede dieser Seiten, wie beispielsweise Openrouter, bietet eine vollständige und aktuelle Liste in Echtzeit, mit Filtern, um die kostengünstigsten KI-Modelle und kostenlosen Modelle zu finden, die über ihre API-Schlüssel genutzt werden können:

OpenRouter

OpenRouter bietet Zugang zu fortgeschrittenen Modellen über eine einzige API und gewährt 50 kostenlose Anfragen pro Tag (1000 mit 10 Dollar für ein Jahr) für den Zugang zu kostenlosen Modellen ab 0/M Token.

• • • DeepSeek V3 (0324): Modell mit 685 Milliarden Parametern, mit einem Kontextfenster von 163.840 Token. Ideal für komplexe Aufgaben, jedoch könnte die Privatsphäre bei Chutes gefährdet sein, da anonymisierte Daten gesammelt werden können.
    • DeepSeek R1 (0528): Open Source, 671 Milliarden Parameter, hervorragend für logisches Denken und Programmierung, mit 163.840 Token.
    • Kimi 1.5: Entwickelt von Moonshot AI, multimodal, mit 200.000 Zeichen Kontext. Nicht immer in der EU verfügbar aufgrund von Einschränkungen.
    • Kimi K2: Open Source Modell mit 1 Billion Parametern, übertrifft DeepSeek V3 in einigen Benchmarks.
    • Mixtral Medium: Unterstützt 128.000 Token mit Caching, um Kosten zu reduzieren.

Poe

Mit 150 kostenlosen Nachrichten pro Monat (3000 Punkte) ist Poe eine einfache Schnittstelle, um mehrere Modelle ohne komplexe Konfigurationen zu testen.

• • • Mixtral Medium: 128.000 Token, für Chats und logisches Denken.
    • Gemma-Pro: 8.000 Token, für informative Antworten.
    • Claude 3 Haiku: Leicht, mit Beschränkungen.

Fireworks

Bietet $1 kostenlosen Kredit, mit wettbewerbsfähigen Preisen und Caching, um die Kosten zu optimieren.

• • • DeepSeek V3, Llama, Mixtral: Kostenlos bis $1 Kredit.

Together AI

Mit $25 kostenlosen Credits ist es eine solide Wahl für Entwickler, die Open Source Modelle ausprobieren möchten.

• • • Mythomax-L2-13B, Mixtral-8x7B: Kostenlos bis $25 Kredit.

Die Token bleiben zentral. Modelle wie DeepSeek R1 und Mixtral erweitern die Kontextfenster, und das Caching (z.B. Fireworks) senkt die Kosten. Die Aggregatoren erleichtern den Zugang, während die Anbieter auf Open Source Lösungen drängen.

Tools zur Verwaltung der Token

Um die Kosten effektiv zu schätzen, sollten Sie die folgenden Schritte beachten: Verstehen Sie die Token-Grenzen: Zunächst sollten Sie klären, wie viele Token jeder Anbieter für Eingaben zulässt und die maximale Anzahl an Token, die seine Modelle in einer einzigen Anfrage verarbeiten können. Bewerten Sie die Textlänge: Analysieren Sie die durchschnittliche Länge der Texte, die Sie verarbeiten müssen, und wandeln Sie sie in die entsprechende Anzahl von Token um. Berechnen Sie den Token-Verbrauch: Multiplizieren Sie die Anzahl der Token pro Anfrage mit der Häufigkeit Ihrer Anfragen, um den gesamten Token-Nutzungsbedarf abzuschätzen. Vergleichen Sie die Preise: Jeder Anbieter hat unterschiedliche Preisstrategien, die auf der Anzahl der verarbeiteten Token basieren. Ihr Verständnis dieser Strategien hilft Ihnen, die voraussichtlichen Kosten zu berechnen.

Um den Einsatz der Token zu optimieren und den Verbrauch zu überwachen, können einige kostenlose Tools hilfreich sein, besonders für gewerbliche Nutzer:

• OpenAI Tokenizer: Verfügbar auf
  OpenAI, zeigt, wie der Text in Token unterteilt wird. Es ist einfach und perfekt für Anfänger.
• Tiktoken: Open-Source-Bibliothek auf GitHub, nützlich für Entwickler, die Token im Code zählen möchten.
• Hugging Face Tokenizer: Kostenlos auf Hugging Face, unterstützt Modelle wie Mixtral und Gemma.

Strategien für die Optimierung der Token-Nutzung

Um die Effizienz zu maximieren und Kosten zu senken, insbesondere auf kostenlosen Plattformen:

• Die Limits der Token verstehen: Zunächst klären, wie viele Token jeder Anbieter für Eingaben zulässt und wie viele Token seine Modelle in einer einzelnen Anfrage verarbeiten können.
• Kurz und zielgerichtet schreiben, um weniger Token zu verbrauchen.
• Die durchschnittliche Länge der Texte analysieren, die verarbeitet werden sollen, und sie in die Anzahl der normalerweise vorhandenen Token umrechnen.
• Werkzeuge wie Tiktoken verwenden, um die Anzahl der Token vor dem Absenden einer Anfrage zu schätzen.
• Aggregator (z. B. OpenRouter, Poe) und Provider (z. B. DeepSeek) vergleichen, um die günstigste Option zu finden.
• Funktionen wie die Websuche auf OpenRouter deaktivieren, um versteckte Kosten zu vermeiden.
• Kostenlose Modelle erkunden (und Apps oder Aggregatoren verwenden, die sie unterstützen, da einige sie ignorieren), wie Deepseek, Kimi K2 oder Gemma-Pro, um hohe Leistungen ohne Kosten zu erzielen.

Token sind der Schlüssel, um das Potenzial von Künstlicher Intelligenz freizusetzen. Die Wahl zwischen Providern wie DeepSeek oder Mixtral und Aggregatoren wie OpenRouter oder Poe hängt von den Bedürfnissen und dem Budget ab. Mit kostenlosen Plattformen und durchdachten Strategien kann die Welt der KI ohne finanzielle Barrieren erkundet werden, während man die zukünftigen Innovationen im Auge behält, indem man die Modelle auch in externen Apps über die kostenlosen APIs nutzt.