So wird gerechnet

Das Training eines Transformers kostet etwa 6 Gleitkommaoperationen pro Parameter und Trainings-Token: zwei für den Vorwärts- und vier für den Rückwärtsdurchlauf. Ein 7B-Modell, trainiert auf 140 Mrd. Token, braucht daher rund 6 × 7×10⁹ × 140×10⁹ ≈ 5,9×10²¹ FLOPs. Diese Zahl legen Modell und Daten fest; die GPU entscheidet nur, wie schnell du sie abarbeitest.

Die Geschwindigkeit jeder GPU ist hier ihre dichte BF16-Tensor-Leistung laut Datenblatt mal MFU (Model FLOPs Utilization) — der Anteil der Spitzenleistung, den ein echter Trainingslauf hält. Gut abgestimmte große Läufe auf H100-Clustern erreichen etwa 35–50 %; kleine Jobs, Consumer-Karten und Multi-Node-Setups über langsame Netze liegen niedriger, oft bei 20–30 %. Verschiebe den MFU-Regler, um zu sehen, wie stark das Ergebnis davon abhängt — meist stärker als von der Wahl der GPU.

Speicher bestimmt die Mindestzahl an GPUs. Mixed-Precision-Training mit dem Adam-Optimierer hält etwa 16 Byte pro Parameter (Gewichte, Gradienten, FP32-Master-Gewichte und zwei Optimierer-Momente) plus Aktivierungen, die Frameworks wie FSDP oder DeepSpeed ZeRO über GPUs verteilen können. Mehr GPUs als nötig ändern in diesem Modell weder GPU-Stunden noch Kosten — sie verkürzen nur die Laufzeit —, in der Praxis sinkt die Skalierungseffizienz aber mit jeder weiteren GPU, besonders ohne NVLink/InfiniBand.

Die Zahl 20 Token pro Parameter ist das rechenoptimale Chinchilla-Verhältnis; viele moderne kleine Modelle werden bewusst weit darüber hinaus trainiert, weil ein kleineres, länger trainiertes Modell in der Inferenz günstiger ist. Um ein bestehendes Modell feinabzustimmen statt von Grund auf zu trainieren, nutze den Fine-Tuning-Kostenrechner — das ist um Größenordnungen günstiger.