Cómo se calcula

Entrenar un transformer cuesta unas 6 operaciones de coma flotante por parámetro y por token de entrenamiento: dos para la pasada hacia delante y cuatro para la pasada hacia atrás. Un modelo de 7B entrenado con 140.000 millones de tokens necesita, por tanto, unos 6 × 7×10⁹ × 140×10⁹ ≈ 5,9×10²¹ FLOP. Esa cifra la fijan el modelo y los datos; la GPU solo decide lo rápido que la recorres.

La velocidad de cada GPU aquí es su rendimiento tensor BF16 denso de ficha técnica multiplicado por el MFU (utilización de FLOP del modelo) — la parte del pico que sostiene un entrenamiento real. Las ejecuciones grandes bien ajustadas en clústeres tipo H100 rondan el 35–50 %; los trabajos pequeños, las tarjetas de consumo y los montajes multinodo con redes lentas quedan por debajo, a menudo en el 20–30 %. Mueve el control de MFU para ver cuánto depende el resultado de él — normalmente más que de la GPU que elijas.

La memoria fija el número mínimo de GPU. El entrenamiento de precisión mixta con el optimizador Adam guarda unos 16 bytes por parámetro (pesos, gradientes, pesos maestros FP32 y dos momentos del optimizador) más las activaciones, que frameworks como FSDP o DeepSpeed ZeRO pueden repartir entre GPU. Usar más GPU que el mínimo no cambia las horas de GPU ni el coste en este modelo — acorta el tiempo real —, aunque en la práctica la eficiencia de escalado baja al añadir GPU, sobre todo sin NVLink/InfiniBand.

La cifra de 20 tokens por parámetro es la proporción óptima de cómputo de Chinchilla; muchos modelos pequeños modernos se entrenan deliberadamente mucho más allá porque un modelo más pequeño y más entrenado es más barato en inferencia. Para ajustar un modelo existente en lugar de entrenar desde cero, usa la calculadora de coste de ajuste fino — es órdenes de magnitud más barato.