Công cụ

Công cụ tính chi phí GPU và AI.

Chín công cụ tính cho những quyết định trước khi bạn thuê bất cứ thứ gì: GPU nào đủ lớn, GPU nào rẻ nhất, và có nên thuê hay không. Mỗi công cụ dùng cùng dữ liệu giá trực tiếp như phần còn lại của trang, và mọi kết quả đều là một URL có thể chia sẻ.

Công cụ tính VRAM

Câu hỏi nó trả lời: mô hình này có vừa GPU này không? Chọn mô hình, độ chính xác (FP16, FP8, INT4) và độ dài ngữ cảnh. Công cụ ước tính bộ nhớ cho trọng số cộng KV cache và liệt kê mọi GPU cho thuê còn đủ chỗ, kèm giá thấp nhất hiện tại của từng GPU.

Dùng khi bạn đang chọn phần cứng cho một mô hình trọng số mở — ví dụ để thấy mô hình 70B ở INT4 vừa một card 48 GB nhưng cần hai card 24 GB.

Tự triển khai hay dùng API

Câu hỏi nó trả lời: với lưu lượng của tôi, thuê GPU tự phục vụ mô hình hay trả API theo token thì rẻ hơn? Công cụ so sánh hai chi phí hằng tháng ở lưu lượng của bạn và chỉ ra điểm giao nhau.

Dùng khi bạn sắp chốt cách triển khai. Ở lưu lượng thấp, API gần như luôn thắng vì bạn chỉ trả cho token đã dùng; ở lưu lượng cao ổn định, GPU thuê luôn bận thường thắng.

Ước tính hóa đơn API hằng tháng

Câu hỏi nó trả lời: một tháng tác vụ của tôi tốn bao nhiêu trên từng API? Nhập số token đầu vào và đầu ra để có hóa đơn của mọi nhà cung cấp phục vụ mô hình, rẻ nhất trước.

Dùng khi bạn đã biết mình muốn dùng API và cần chọn nhà cung cấp — token đầu ra thường đắt gấp vài lần đầu vào, nên thứ hạng thay đổi theo tỷ lệ prompt/phản hồi của bạn.

So sánh GPU cạnh nhau

Câu hỏi nó trả lời: các GPU này thực sự khác nhau thế nào? So sánh tối đa bốn card về VRAM, hiệu năng FP16/FP8, công suất và giá theo giờ rẻ nhất hiện tại.

Dùng khi hai card trông giống nhau trên giấy — ví dụ L40S và A100 — và bạn muốn xem mỗi đô la mua được thêm gì.

Nên thuê GPU nào?

Câu hỏi nó trả lời: tôi biết mình muốn làm gì — nên thuê GPU nào ngay bây giờ? Chọn tác vụ (chạy, tinh chỉnh hay huấn luyện mô hình, hoặc tạo ảnh), mô hình và điều quan trọng nhất, để nhận ba lựa chọn tốt nhất kèm nhà cung cấp, giá, chi phí hằng tháng và danh sách việc cần làm khi cài đặt.

Dùng khi bạn bắt đầu một dự án và không muốn tự đối chiếu bảng VRAM với bảng giá.

Ước tính chi phí huấn luyện

Câu hỏi nó trả lời: huấn luyện một mô hình N tham số trên D token tốn bao nhiêu? Công cụ áp dụng quy tắc tính toán chuẩn 6 × tham số × token cho hiệu năng công bố của từng GPU ở mức khai thác bạn chọn, rồi tính giá giờ GPU theo giá rẻ nhất hôm nay.

Dùng khi bạn đang lên phạm vi cho một đợt huấn luyện từ đầu hoặc huấn luyện tiếp và cần ngân sách cùng thời gian.

Tính chi phí fine-tune

Câu hỏi nó trả lời: tinh chỉnh toàn phần, LoRA hay QLoRA một mô hình trọng số mở cụ thể cần bao nhiêu bộ nhớ, thời gian và tiền trên từng GPU?

Dùng khi bạn có dữ liệu và mô hình gốc và cần biết một card có đủ không — QLoRA thường đưa được mô hình 70B lên một GPU 80 GB.

Tính chi phí inference

Câu hỏi nó trả lời: tự phục vụ mô hình này tốn bao nhiêu cho mỗi triệu token trên từng GPU, và so với API rẻ nhất thì sao?

Dùng khi bạn đang quyết định cách triển khai mô hình và muốn xem thông lượng và đơn giá cạnh nhau.

Tính thuê hay mua

Câu hỏi nó trả lời: có nên mua GPU thay vì thuê? Công cụ so sánh thuê với sở hữu (khấu hao cộng tiền điện) và cho biết số giờ mỗi tháng mà việc mua bắt đầu có lời.

Dùng khi hóa đơn GPU của bạn đã thành chi phí cố định hằng tháng và bạn tự hỏi card có tự hoàn vốn không.

Giới hạn nên biết

Đây là công cụ lập kế hoạch. Ước tính bộ nhớ có thể lệch vài GB tùy framework suy luận, và thông lượng phụ thuộc nhiều vào kích thước batch và phần mềm. Trang phương pháp giải thích các công thức.