Cách tính
Bộ nhớ tùy phương pháp. Tinh chỉnh toàn phần cập nhật mọi trọng số nên cần ~16 byte mỗi tham số như huấn luyện từ đầu (trọng số, gradient, bản FP32 và hai moment của Adam) — khoảng 1,1 TB bộ nhớ GPU cho mô hình 70B, tức là cần một node nhiều GPU. LoRA đóng băng mô hình gốc ở 16-bit (2 byte mỗi tham số) và huấn luyện các ma trận adapter nhỏ, thường khoảng 1% số tham số. QLoRA đi xa hơn, lưu mô hình gốc ở 4-bit, nhờ vậy mô hình 70B có thể tinh chỉnh trên một card 80 GB.
Thời gian theo cùng quy tắc tính toán như huấn luyện: khoảng 6 FLOP mỗi tham số mỗi token cho tinh chỉnh toàn phần, và khoảng 4 cho các phương pháp kiểu LoRA vì trọng số gốc không cần gradient. QLoRA thêm chi phí giải lượng tử trọng số 4-bit ở mỗi lượt (chúng tôi giả định +30%). Chúng tôi chia cho hiệu năng BF16 theo thông số của GPU ở mức khai thác 35% — con số thực tế cho tinh chỉnh một node với phần mềm hiện đại.
Kích thước dữ liệu tính bằng token, không phải số mẫu: 10.000 cặp chỉ dẫn trung bình 500 token mỗi cặp là 5 triệu token. Phần lớn tinh chỉnh LoRA hội tụ sau 1–3 epoch. Ngoài phần tính toán ở đây, hãy dự trù cho chuẩn bị dữ liệu, các lượt đánh giá và vài lần thử hỏng — hướng dẫn chi phí tinh chỉnh đi qua một ví dụ đầy đủ.