Méthode de calcul
La mémoire dépend de la méthode. Un fine-tuning complet met à jour chaque poids et demande donc les mêmes ~16 octets par paramètre que le pré-entraînement (poids, gradients, copie maître FP32 et les deux moments d'Adam) — environ 1,1 To de mémoire GPU pour un modèle 70B, soit un nœud multi-GPU. LoRA gèle le modèle de base en 16 bits (2 octets par paramètre) et entraîne de petites matrices d'adaptation, généralement environ 1 % des paramètres. QLoRA va plus loin et stocke la base gelée en 4 bits, ce qui permet d'affiner un modèle 70B sur une seule carte de 80 Go.
Le temps suit la même règle de calcul que l'entraînement : environ 6 FLOP par paramètre et par token pour un fine-tuning complet, et environ 4 pour les méthodes de type LoRA, car les poids de base n'ont pas besoin de gradients. QLoRA ajoute le coût de déquantification des poids 4 bits à chaque passe (nous supposons +30 %). Nous divisons par le débit BF16 annoncé du GPU à 35 % d'utilisation — un chiffre réaliste pour un fine-tuning sur un seul nœud avec une pile logicielle récente.
La taille du jeu de données se compte en tokens, pas en exemples : 10 000 paires d'instructions de 500 tokens en moyenne font 5 millions de tokens. La plupart des fine-tunings LoRA convergent en 1 à 3 époques. Au-delà du calcul affiché, prévoyez la préparation des données, les évaluations et quelques essais ratés — le guide des coûts de fine-tuning détaille un exemple complet.