Cách tính
Trình hướng dẫn bắt đầu từ bộ nhớ, vì GPU không chứa nổi công việc thì vô dụng ở bất kỳ giá nào. Khi chạy mô hình, chúng tôi tính trọng số ở độ chính xác mà ưu tiên của bạn ngụ ý — 4-bit cho rẻ nhất, 8-bit cho cân bằng, 16-bit cho nhanh nhất — cộng KV cache cho ngữ cảnh 8K. Tinh chỉnh dùng QLoRA (hoặc LoRA khi bạn chọn nhanh nhất), huấn luyện dùng trạng thái độ chính xác hỗn hợp đầy đủ, còn mô hình ảnh dùng nhu cầu VRAM điển hình của từng họ mô hình.
Trong các GPU vừa và có giá hiện tại, rẻ nhất xếp theo giá theo giờ, nhanh nhất theo băng thông bộ nhớ (quyết định tốc độ sinh), và cân bằng theo giá trên mỗi đơn vị băng thông — nhiều tốc độ nhất trên mỗi đô la. Nếu không card đơn nào vừa, công cụ hiển thị các cấu hình nhiều GPU nhỏ nhất. Mỗi kết quả dẫn tới trang GPU với mọi nhà cung cấp, vì nhà cung cấp rẻ nhất chưa chắc đáng tin nhất.