Cómo se calcula
Generar un token implica leer una vez cada peso activo de la memoria de la GPU, así que la velocidad de una sola petición la marca el ancho de banda de memoria: tokens por segundo ≈ ancho de banda ÷ bytes de pesos activos, y suponemos que los kernels reales alcanzan cerca del 70 % de la ficha. Atender varias peticiones a la vez reutiliza cada lectura de pesos en todo el lote, así que el rendimiento crece con la concurrencia — hasta que la GPU se queda sin capacidad de cálculo, que limitamos al 40 % de su pico BF16 denso (2 FLOP por parámetro activo y token).
La memoria es distinta: un modelo mixture-of-experts debe tener todos sus expertos cargados, así que se dimensiona por parámetros totales, más la caché KV para tu longitud de contexto y concurrencia. Cuando una tarjeta no basta usamos el menor número de GPU que caben (hasta un nodo de 8 GPU) y valoramos el nodo entero.
Coste por millón de tokens = precio por hora ÷ (tokens por segundo × 3.600) × 1.000.000. La columna de comparación usa el precio de tokens de salida de la API más barata para el mismo modelo. Autoalojar solo alcanza estas cifras mientras la GPU está ocupada: con un 20 % de utilización, multiplica el coste por cinco. La herramienta Autoalojar o API y la guía del punto de equilibrio tratan la utilización en detalle.