Huấn luyện một mô hình tốn bao nhiêu?

Cách tính

Huấn luyện một transformer tốn khoảng 6 phép tính dấu phẩy động cho mỗi tham số trên mỗi token huấn luyện: hai cho lượt xuôi và bốn cho lượt ngược. Vì vậy một mô hình 7B huấn luyện trên 140 tỷ token cần khoảng 6 × 7×10⁹ × 140×10⁹ ≈ 5,9×10²¹ FLOP. Con số này do mô hình và dữ liệu quyết định; GPU chỉ quyết định bạn đi qua nó nhanh đến đâu.

Tốc độ của mỗi GPU ở đây là hiệu năng tensor BF16 dày đặc theo thông số nhân với MFU (mức khai thác FLOP của mô hình) — phần đỉnh mà một đợt huấn luyện thật duy trì được. Các đợt lớn được tinh chỉnh tốt trên cụm cỡ H100 báo khoảng 35–50%; việc nhỏ, card phổ thông và hệ nhiều node qua mạng chậm thấp hơn, thường 20–30%. Kéo thanh MFU để thấy kết quả phụ thuộc vào nó đến mức nào — thường nhiều hơn là việc bạn chọn GPU nào.

Bộ nhớ quyết định số GPU tối thiểu. Huấn luyện độ chính xác hỗn hợp với bộ tối ưu Adam giữ khoảng 16 byte mỗi tham số (trọng số, gradient, bản trọng số FP32 và hai moment của bộ tối ưu) cộng activation, mà các framework như FSDP hay DeepSpeed ZeRO có thể chia ra nhiều GPU. Dùng nhiều GPU hơn mức tối thiểu không đổi số giờ GPU hay chi phí trong mô hình này — chỉ rút ngắn thời gian thực — dù trên thực tế hiệu quả mở rộng giảm khi thêm GPU, nhất là khi không có NVLink/InfiniBand.

Con số 20 token mỗi tham số là tỷ lệ tối ưu tính toán Chinchilla; nhiều mô hình nhỏ hiện đại được cố ý huấn luyện vượt xa mức đó vì mô hình nhỏ hơn, huấn luyện lâu hơn thì suy luận rẻ hơn. Nếu tinh chỉnh một mô hình có sẵn thay vì huấn luyện từ đầu, hãy dùng công cụ tính chi phí tinh chỉnh — rẻ hơn nhiều bậc.