So wird gerechnet
Ein Token zu erzeugen heißt, jedes aktive Gewicht einmal aus dem GPU-Speicher zu lesen; die Geschwindigkeit einer einzelnen Anfrage bestimmt daher die Speicherbandbreite: Token pro Sekunde ≈ Bandbreite ÷ Bytes der aktiven Gewichte, wobei wir annehmen, dass echte Kernels etwa 70 % des Datenblattwerts erreichen. Mehrere Anfragen gleichzeitig nutzen jeden Gewichtslesevorgang für den ganzen Batch, sodass der Durchsatz mit der Parallelität wächst — bis die GPU an Rechenleistung stößt, die wir auf 40 % ihrer dichten BF16-Spitze begrenzen (2 FLOPs pro aktivem Parameter und Token).
Speicher ist etwas anderes: Ein Mixture-of-Experts-Modell muss alle Experten geladen halten und wird daher nach Gesamtparametern bemessen, plus KV-Cache für deine Kontextlänge und Parallelität. Reicht eine Karte nicht, nehmen wir die wenigsten GPUs, die passen (bis zu einem 8-GPU-Knoten), und bepreisen den ganzen Knoten.
Kosten pro Million Token = Stundenpreis ÷ (Token pro Sekunde × 3.600) × 1.000.000. Die Vergleichsspalte nutzt den Output-Token-Preis der günstigsten gehosteten API für dasselbe Modell. Selbst hosten erreicht diese Zahlen nur, solange die GPU ausgelastet ist: Bei 20 % Auslastung multipliziere die Kosten mit fünf. Das Tool Selbst hosten oder API und der Leitfaden zum Break-even behandeln die Auslastung ausführlich.