Méthode de calcul
Générer un token, c'est lire une fois chaque poids actif depuis la mémoire du GPU ; la vitesse d'une requête seule est donc fixée par la bande passante mémoire : tokens par seconde ≈ bande passante ÷ octets des poids actifs, et nous supposons que les vrais noyaux atteignent environ 70 % de la valeur annoncée. Servir plusieurs requêtes à la fois réutilise chaque lecture de poids pour tout le lot, donc le débit augmente avec la concurrence — jusqu'à ce que le GPU manque de puissance de calcul, que nous plafonnons à 40 % de son pic BF16 dense (2 FLOP par paramètre actif et par token).
La mémoire est différente : un modèle mixture-of-experts doit garder tous ses experts chargés, il est donc dimensionné sur le total des paramètres, plus le cache KV pour votre longueur de contexte et votre concurrence. Quand une carte ne suffit pas, nous prenons le moins de GPU possible qui tiennent (jusqu'à un nœud de 8 GPU) et chiffrons le nœud entier.
Coût par million de tokens = prix horaire ÷ (tokens par seconde × 3 600) × 1 000 000. La colonne de comparaison utilise le prix des tokens en sortie de l'API la moins chère pour le même modèle. L'auto-hébergement n'atteint ces chiffres que si le GPU reste occupé : à 20 % d'utilisation, multipliez le coût par cinq. L'outil Auto-hébergement ou API et le guide du seuil de rentabilité traitent l'utilisation en détail.