So wird gerechnet
Speicher hängt von der Methode ab. Ein vollständiges Fine-Tuning aktualisiert jedes Gewicht und braucht daher dieselben ~16 Byte pro Parameter wie das Pre-Training (Gewichte, Gradienten, FP32-Master-Kopie und Adams zwei Momente) — rund 1,1 TB GPU-Speicher für ein 70B-Modell, also einen Multi-GPU-Knoten. LoRA friert das Basismodell in 16 Bit ein (2 Byte pro Parameter) und trainiert kleine Adapter-Matrizen, meist etwa 1 % der Parameter. QLoRA geht weiter und speichert die eingefrorene Basis in 4 Bit — so lässt sich ein 70B-Modell auf einer einzelnen 80-GB-Karte feinabstimmen.
Zeit folgt derselben Rechenregel wie das Training: etwa 6 FLOPs pro Parameter und Token für ein vollständiges Fine-Tuning und rund 4 für LoRA-artige Methoden, weil die Basisgewichte keine Gradienten brauchen. QLoRA kostet zusätzlich das Dequantisieren der 4-Bit-Gewichte in jedem Durchlauf (wir nehmen +30 % an). Wir teilen durch die BF16-Leistung laut Datenblatt bei 35 % Auslastung — ein realistischer Wert für Fine-Tuning auf einem Knoten mit aktueller Software.
Die Datensatzgröße zählt in Token, nicht in Beispielen: 10.000 Instruktionspaare mit durchschnittlich 500 Token sind 5 Mio. Token. Die meisten LoRA-Fine-Tunings konvergieren in 1–3 Epochen. Über die hier gezeigte Rechenzeit hinaus solltest du Datenaufbereitung, Evaluationsläufe und ein paar Fehlversuche einplanen — der Leitfaden zu Fine-Tuning-Kosten geht ein vollständiges Beispiel durch.