Cómo se calcula
La memoria depende del método. Un ajuste fino completo actualiza todos los pesos, así que necesita los mismos ~16 bytes por parámetro que el preentrenamiento (pesos, gradientes, copia maestra FP32 y los dos momentos de Adam) — cerca de 1,1 TB de memoria de GPU para un modelo de 70B, es decir, un nodo multi-GPU. LoRA congela el modelo base en 16 bits (2 bytes por parámetro) y entrena pequeñas matrices adaptadoras, normalmente cerca del 1 % de los parámetros. QLoRA va más allá y guarda la base congelada en 4 bits, que es como un modelo de 70B puede ajustarse en una sola tarjeta de 80 GB.
El tiempo sale de la misma regla de cómputo que el entrenamiento: unos 6 FLOP por parámetro y token en un ajuste completo, y unos 4 en métodos tipo LoRA porque los pesos base no necesitan gradientes. QLoRA añade el coste de descuantizar los pesos de 4 bits en cada pasada (suponemos +30 %). Dividimos entre el rendimiento BF16 de ficha de la GPU con un 35 % de utilización — una cifra realista para ajuste fino en un solo nodo con software actual.
El tamaño del conjunto de datos se cuenta en tokens, no en ejemplos: 10.000 pares de instrucciones de 500 tokens de media son 5 millones de tokens. La mayoría de los ajustes LoRA convergen en 1–3 épocas. Además del cómputo mostrado, presupuesta la preparación de datos, las evaluaciones y algunos intentos fallidos — la guía de costes de ajuste fino recorre un ejemplo completo.