Thuê A100 châu Âu là lựa chọn hợp lý khi bạn cần một GPU datacenter đã được kiểm chứng để fine-tune hoặc chạy inference, đặt trong EU, mà không phải trả cho thế hệ mới nhất. Trên Cloudj, A100 đến từ cùng danh sách máy chủ độc lập như mọi GPU khác, và bạn tìm máy ở châu Âu bằng cách lọc theo mã quốc gia. Bài viết này nói về hai biến thể A100 trên danh sách, 40 GB bộ nhớ thực tế làm được gì, cách tìm ở các nước EU, và cách chọn giữa A100 với H100. Nội dung phù hợp với các nhóm AI Việt Nam fine-tune mô hình tiếng Việt cho khách hàng châu Âu, hoặc đơn giản là cần một máy datacenter ổn định cho việc huấn luyện.
Toàn cảnh khu vực có trong hướng dẫn thuê GPU châu Âu.
Hai loại A100 trên danh sách
| A100 PCIe | A100 SXM4 | |
|---|---|---|
| Phiên bản trên danh sách | 40 GB | 40 GB |
| Kiến trúc | Ampere | Ampere |
| Dạng phần cứng | Card PCIe | Module SXM4 trên bo mạch nhiều GPU |
| Kết nối giữa các GPU (thông tin chung) | Qua PCIe, đôi khi có cầu NVLink | Thường là NVLink trên bo mạch |
| Hợp nhất với | Fine-tune một GPU, inference, đánh giá mô hình | Train nhiều GPU cần đồng bộ gradient thường xuyên |
A100 từng được bán cả bản 80 GB, nhưng A100 trên danh sách GPU của Cloudj là bản 40 GB. Hãy lên kế hoạch với 40 GB mỗi GPU. Trang của từng mẫu hiển thị giá "từ" và tình trạng còn hàng theo thời gian thực; hai biến thể có hàng độc lập với nhau, nên ở cùng một nước có thể có loại này mà không có loại kia.
40 GB làm được những gì
Đây là gợi ý sơ bộ để lên kế hoạch, không phải benchmark:
- Fine-tune LoRA mô hình 7B-13B ở bf16 thường vừa một card 40 GB với batch size hợp lý và gradient checkpointing.
- QLoRA (trọng số gốc 4-bit) cho phép fine-tune mô hình lớn hơn trên một card, khoảng đến cỡ 30B, tùy độ dài chuỗi.
- Inference mô hình 70B ở 4-bit cần khoảng 40 GB chỉ riêng cho trọng số, chưa tính cache, nên hãy tính hai card A100 thay vì một.
- Fine-tune toàn phần cho bất kỳ mô hình nào ngoài loại nhỏ đều cần nhiều GPU, và đó là lúc máy SXM4 4x hoặc 8x phát huy.
Ampere hỗ trợ bf16, định dạng mà hầu hết công thức huấn luyện hiện nay dùng. Kiến trúc này không có FP8 như dòng Hopper, điều chỉ quan trọng nếu framework của bạn thật sự dùng FP8.
Thuê A100 châu Âu: tìm ở các nước EU
Mở trang triển khai với mẫu được chọn sẵn, triển khai A100 PCIe, rồi nhập các nước EU bạn chấp nhận vào ô Country:
DE, NL, FR, SEKết quả sắp theo tổng giá và cho biết quốc gia của từng máy (không bao giờ có thành phố), reliability, max duration, nhãn Datacenter, giá lưu trữ và giá băng thông. Nếu có máy, bạn triển khai được. Nếu không, hãy đổi sang biến thể SXM4, đổi số GPU, thêm mã EU như FI, BE hay PL, nới bộ lọc, hoặc quay lại sau; tình trạng máy thay đổi trong ngày. Bài lọc GPU theo quốc gia giải thích từng ô.
Trước tất cả những việc trên, hãy kiểm tra cấp tài khoản. A100 là GPU datacenter, cần cấp tài khoản cao hơn mức của tài khoản mới. Nếu console hiện "This GPU class is not available at your account level", hãy liên hệ bộ phận hỗ trợ Cloudj trong console.
A100 hay H100: bài toán giá trị
H100 là card mới hơn, mạnh hơn, và bài thuê H100 châu Âu hướng dẫn cách thuê. Nhưng "mạnh hơn" chưa chắc "đáng tiền hơn" cho mọi việc. Hãy nghĩ theo chi phí cho mỗi công việc hoàn thành: giá theo giờ nhân với số giờ để xong.
| Công việc của bạn | Nghiêng về | Lý do |
|---|---|---|
| LoRA hoặc QLoRA cho mô hình vừa 40 GB | A100 | Việc vừa card; card nhanh hơn chưa chắc tiết kiệm đủ số giờ để bù giá |
| Nhiều lần fine-tune nhỏ hoặc chạy đánh giá | A100 | Tốc độ mỗi lượt ít quan trọng hơn việc chạy song song nhiều lượt |
| Huấn luyện cần hơn 40 GB mỗi GPU | H100 (80 GB) | Tránh phải chia mô hình ra nhiều card hơn |
| Việc dùng FP8 hoặc tính năng riêng của Hopper | H100 | Ampere không có |
| Huấn luyện sát hạn, thời gian quan trọng hơn chi phí | H100 | Mục tiêu là xong sớm |
So giá theo thời gian thực trên hai trang mẫu và ước lượng số giờ bằng một lần chạy thử ngắn trên mỗi loại. Tính tiền theo phút khiến một lần so sánh trong một giờ rất rẻ. Bài so sánh A100 và H100 phân tích chi tiết hơn.
Chạy fine-tune an toàn trên A100
Mỗi máy trong danh sách là máy chủ độc lập không có SLA phần cứng, và mỗi máy có ngày "available until" mà sau đó instance cùng ổ đĩa bị xóa. Với một lần fine-tune kéo dài nhiều giờ hoặc nhiều ngày:
- Kiểm tra max duration đủ cho thời gian chạy cộng thời gian chép kết quả ra.
- Chọn dung lượng ổ đĩa khi triển khai đủ cho mô hình gốc, dữ liệu, checkpoint và phần dư; ổ đĩa không mở rộng được sau đó.
- Lưu checkpoint định kỳ và chép về nơi lưu trữ bạn kiểm soát (lệnh ở bên dưới).
- Xóa instance khi xong; dừng máy vẫn tính tiền lưu trữ và nhả GPU ra.
rsync -avP -e "ssh -p <port>" root@<host>:/workspace/checkpoints/ ./checkpoints/Nếu máy chủ mất kết nối, việc tính tiền tạm dừng nhưng instance không được chuyển đi, nên checkpoint gần nhất chính là điểm để bạn chạy lại. Quy trình đầy đủ có trong bài fine-tune LLM trên GPU tại châu Âu.
Vị trí dữ liệu
Các mã EU giữ máy chủ trong những nước bạn chọn. Cloudj không đưa ra cam kết tuân thủ nào cho mình hay cho các máy chủ, nên hãy tự kiểm tra nghĩa vụ pháp lý trước khi xử lý dữ liệu cá nhân. Về thanh toán, tiền được trừ theo phút từ số dư trả trước bằng USD, và bạn ở Việt Nam có thể nạp bằng chuyển khoản ngân hàng bằng VND.
Câu hỏi thường gặp
A100 trên Cloudj là bản 40 GB hay 80 GB?
A100 trên danh sách GPU là bản 40 GB.
Nên chọn PCIe hay SXM4?
PCIe cho việc một GPU; SXM4 cho huấn luyện nhiều GPU cần trao đổi dữ liệu nhiều. Nếu việc của bạn chỉ dùng một GPU, hãy tìm cả hai loại.
Vì sao tôi không triển khai được A100?
GPU datacenter cần cấp tài khoản cao hơn. Hãy liên hệ bộ phận hỗ trợ Cloudj trong console.
Lúc nào ở Đức cũng có A100 chứ?
Không. Lọc DE; nếu không có máy, thêm các mã EU khác hoặc thử lại sau.
Tìm A100 trong EU
Mở trang triển khai A100 PCIe, nhập DE, NL, FR, SE, và thử SXM4 nếu PCIe không có máy. Giá "từ" theo thời gian thực của mọi mẫu có trên GPU cloud.