Cách tính
Sinh một token nghĩa là đọc mọi trọng số đang hoạt động từ bộ nhớ GPU một lần, nên tốc độ một yêu cầu do băng thông bộ nhớ quyết định: token mỗi giây ≈ băng thông ÷ số byte trọng số hoạt động, và chúng tôi giả định kernel thực đạt khoảng 70% thông số. Phục vụ nhiều yêu cầu cùng lúc dùng lại mỗi lần đọc trọng số cho cả batch, nên thông lượng tăng theo số yêu cầu đồng thời — cho đến khi GPU hết sức tính toán, mức chúng tôi giới hạn ở 40% đỉnh BF16 dày đặc (2 FLOP mỗi tham số hoạt động mỗi token).
Bộ nhớ thì khác: mô hình mixture-of-experts phải nạp tất cả expert, nên được tính theo tổng tham số, cộng KV cache cho độ dài ngữ cảnh và số yêu cầu đồng thời của bạn. Khi một card không đủ, chúng tôi dùng số GPU ít nhất vừa đủ (tối đa một node 8 GPU) và tính giá cả node.
Chi phí mỗi triệu token = giá theo giờ ÷ (token mỗi giây × 3.600) × 1.000.000. Cột so sánh dùng giá token đầu ra của API rẻ nhất cho cùng mô hình. Tự triển khai chỉ đạt các con số này khi GPU luôn bận: ở mức khai thác 20%, nhân chi phí lên năm lần. Công cụ tự triển khai hay API và hướng dẫn điểm hòa vốn phân tích chi tiết mức khai thác.