Các team muốn thuê A100 châu Á thường cần một GPU datacenter đã được kiểm chứng để fine-tune hoặc phục vụ model cỡ vừa, và muốn máy nằm đâu đó ở châu Á để việc tải dữ liệu lên hay thử nghiệm tương tác không phải vượt đại dương. Bài này hướng dẫn cách tìm A100 ở Singapore, Nhật Bản, Hàn Quốc và Hong Kong trên Cloudj, các biến thể A100 hiện có, card nào trong khu vực có thể thay thế khi không có A100, và cách đưa dữ liệu từ Việt Nam lên cho hiệu quả.
Tổng quan cả khu vực có trong hướng dẫn thuê GPU châu Á.
Các biến thể A100 trong danh sách
Cloudj có hai mẫu A100, đều là bản 40 GB:
- A100 PCIe: card PCIe tiêu chuẩn, công suất thấp hơn.
- A100 SXM4: dạng module với mức công suất cao hơn, thường nằm trong máy chủ nhiều GPU.
Cả hai đều là card datacenter thế hệ Ampere. Trang model hiển thị thông số và giá "từ" cập nhật trực tiếp. Như mọi GPU datacenter, A100 cần cấp tài khoản cao hơn; nếu console báo lớp GPU này chưa mở cho tài khoản của bạn, hãy liên hệ hỗ trợ ngay trên console.
A100 hợp với:
- fine-tune model cỡ 7B đến 13B với batch lớn hơn mức card phổ thông cho phép;
- phục vụ model đã lượng tử hóa vừa trong 40 GB, với hệ sinh thái phần mềm rất ổn định;
- job nhiều GPU khi có host liệt kê 2×, 4× hoặc 8× trong cùng một máy.
Nếu cần 80 GB trên một card, hãy xem H100; bài thuê H100 ở châu Á hướng dẫn cách tìm.
Tìm A100 ở nhiều nước châu Á
Vị trí GPU là bộ lọc quốc gia áp lên danh sách máy chủ đang có. Mở trang triển khai A100 và nhập nhiều mã vào ô Country:
SG, JP, KR, HKSau đó đổi sang mẫu A100 SXM4 với cùng dãy mã để kiểm tra biến thể còn lại. Kết quả hiển thị quốc gia của từng máy (không có thành phố), số card, vCPU, RAM, tốc độ tải xuống, độ tin cậy, thời hạn tối đa, giá băng thông theo TB và nhãn Datacenter nếu có, sắp theo tổng giá.
Có A100 trong danh sách thì bạn triển khai được. Hàng thay đổi trong ngày; lúc này trống chưa chắc lát nữa vẫn trống. Đừng mặc định nước nào trong số này "lúc nào cũng có" A100.
Nên ưu tiên mã nào tùy vào công việc:
| Nhu cầu | Mã nên bắt đầu |
|---|---|
| Thử nghiệm tương tác từ Việt Nam hoặc Đông Nam Á | SG, HK |
| Người dùng hoặc đối tác ở Nhật, Hàn | JP, KR |
| Fine-tune chạy theo lô, không cần vị trí | SG, JP, KR, HK, rồi bỏ bộ lọc nếu cần |
Không có A100: các card thay thế trong khu vực
Nếu tìm A100 không ra kết quả, hãy giữ dãy mã quốc gia và chuyển sang tìm theo VRAM. Bỏ chọn mẫu card và đặt VRAM tối thiểu 40 GB. Có hai card lớp 48 GB đáng biết:
- L40S: card datacenter thế hệ Ada, lớp 48 GB. Mạnh về inference, sinh ảnh và video; là lựa chọn fine-tune hợp lý cho model vừa bộ nhớ.
- RTX 6000 Ada: card workstation 48 GB cùng thế hệ, tốt cho inference, render và huấn luyện ở mức vừa phải.
Cả hai đều có nhiều VRAM hơn bản A100 40 GB trong danh sách. A100 thường được chọn vì hệ sinh thái huấn luyện chín muồi và máy chủ nhiều GPU; hai card Ada được chọn vì kiến trúc mới hơn và thế mạnh inference. Bài so sánh L40S, A100 và RTX 6000 Ada phân tích card nào hợp với việc nào.
Nếu bắt buộc phải là A100 mà châu Á không có máy, mở rộng ra mọi quốc gia là hoàn toàn ổn với job huấn luyện chạy theo lô.
Đưa dữ liệu từ Việt Nam lên
Với nhiều team Việt, phần chậm nhất của một job A100 không nằm ở GPU mà ở khâu đưa dữ liệu lên máy. Vài thói quen nhỏ tạo khác biệt lớn:
- Tải trên máy chủ, đừng tải từ laptop. Model gốc và bộ dữ liệu công khai nên được kéo thẳng từ nguồn về instance. Như vậy bạn tránh phải đẩy hàng chục GB qua đường lên quốc tế của Viettel, VNPT hay FPT.
- Nén trước khi upload. Gộp nhiều file nhỏ thành một file nén. Hàng nghìn tấm ảnh upload nhanh hơn hẳn khi nằm trong một file
tar. - Dùng cách truyền có thể nối lại.
rsynctiếp tục từ chỗ bị ngắt nếu mạng rớt giữa chừng:
tar -czf dataset.tar.gz dataset/
rsync -avP -e "ssh -p <port>" dataset.tar.gz root@<host>:/workspace/- Để ý phí băng thông. Mỗi máy ghi giá băng thông theo TB cho chiều tải xuống và tải lên, tính theo GB. Hãy so sánh khi bạn chuyển bộ dữ liệu lớn.
Hướng dẫn đầy đủ về chuyển model và dữ liệu giữa các khu vực GPU có thêm phần kiểm tra checksum, truyền song song và kéo kết quả về.
Trước khi triển khai
- So ngày "available until" với độ dài job; qua ngày đó instance và ổ đĩa bị xóa.
- Chọn dung lượng ổ đĩa đủ cho dữ liệu, trọng số và checkpoint; không thể mở rộng sau này.
- Lên kế hoạch sao checkpoint ra ngoài: mỗi máy là host độc lập, không có SLA phần cứng.
- Truy cập chỉ bằng SSH key; tab Connection hiển thị host, port và lệnh đầy đủ.
- Nạp đủ số dư bằng chuyển khoản VND, vì khi triển khai hệ thống sẽ giữ một khoản cọc.
Câu hỏi thường gặp
Cloudj có A100 ở Singapore hay Nhật Bản không?
Hàng thay đổi trong ngày. Đặt Country là SG, JP, KR, HK với A100 đã chọn; nếu có máy trong danh sách, bạn triển khai được.
Vì sao A100 trong danh sách là bản 40 GB?
Hai mẫu A100 PCIe và SXM4 trong danh sách là bản 40 GB. Nếu cần nhiều bộ nhớ hơn trên một card, hãy cân nhắc card lớp 48 GB hoặc H100.
Tài khoản mới có thuê A100 được không?
Thường là chưa ngay. GPU datacenter cần cấp tài khoản cao hơn; console sẽ báo và bạn liên hệ hỗ trợ tại đó.
Từ Việt Nam thì Hong Kong hay Singapore tốt hơn?
Tùy nhà mạng và giờ trong ngày. Hãy đo cả hai bằng ping và mtr từ mạng của bạn.
Tìm A100 ở châu Á
Mở trang triển khai A100, đặt Country là SG, JP, KR, HK và kiểm tra cả hai biến thể. Mọi giá trực tiếp có trên GPU cloud.