Thuê GPU train AI tại Mỹ cho một buổi chiều thì dễ. Chạy liên tục ba bốn ngày mà không mất dữ liệu, không mất tiền oan thì cần lên kế hoạch. Trên Cloudj, GPU ở Mỹ đến từ danh sách máy chủ độc lập, mỗi máy có điểm reliability, thời hạn tối đa và ngày "available until" riêng, và không máy nào có SLA phần cứng. Với việc huấn luyện, điều đó hoàn toàn ổn nếu bạn chuẩn bị trước. Checklist dưới đây đi theo đúng trình tự: trước khi triển khai, lúc triển khai, trong khi chạy, khi có sự cố và sau khi xong. Nhiều nhóm AI ở Việt Nam chọn Mỹ cho việc train vì khoảng cách không quan trọng với việc chạy nền, nên checklist này cũng viết cho các bạn.
Lời khuyên chung về thuê GPU ở Mỹ có trong hướng dẫn thuê GPU tại Mỹ.
Trước khi thuê GPU train AI tại Mỹ
Ước lượng bằng một lần chạy thử ngắn. Chạy vài trăm bước trên đúng loại card định thuê và bấm giờ. Nhân ra cho cả lần chạy, cộng thêm phần dự phòng. Con số này quyết định mọi bước sau. Tính tiền theo phút khiến lần thử này rất rẻ.
Chọn loại card.
| Card | Bộ nhớ | Hợp với |
|---|---|---|
| H100 SXM | 80 GB | Mô hình lớn, fine-tune toàn phần, train nhiều GPU trao đổi dữ liệu nhiều |
| A100 SXM4 | Bản 40 GB trên danh sách | Fine-tune cỡ vừa và train nhiều GPU với ngân sách chặt hơn |
| RTX 4090 | 24 GB | LoRA, mô hình thị giác, train diffusion, dò tham số vừa 24 GB |
H100 và A100 là GPU datacenter, cần cấp tài khoản cao hơn mức của tài khoản mới. Nếu console báo "This GPU class is not available at your account level", hãy liên hệ bộ phận hỗ trợ Cloudj trong console từ sớm, trước ngày định chạy.
Chọn số GPU. Máy có 1x, 2x, 4x hoặc 8x GPU nằm chung một máy chủ. Nhiều GPU có ích khi code của bạn tận dụng được (song song dữ liệu, train phân mảnh) và việc trao đổi giữa các card hiệu quả. Bài một GPU hay nhiều GPU giúp bạn xem phần tăng tốc có đáng với độ phức tạp hay không.
Chọn dung lượng ổ đĩa. Trọng số gốc, dữ liệu, vài checkpoint và log, cộng phần dư. Ổ đĩa không mở rộng được sau khi triển khai.
Lúc triển khai
Mở trang triển khai H100 SXM, hoặc đổi sang mẫu bạn đã chọn, rồi nhập US vào ô Country. Kết quả sắp theo tổng giá từ thấp đến cao. Vị trí chỉ hiển thị đến cấp quốc gia.
Trước khi bấm triển khai, kiểm tra ba thông tin của máy:
- Available until. Đến ngày này, instance và ổ đĩa bị xóa. Thời gian chạy ước tính, cộng dự phòng, cộng thời gian chép kết quả ra phải kết thúc trước ngày đó. Nếu không, hãy chọn máy khác.
- Max duration. Cùng ý nghĩa, tính theo ngày.
- Reliability. Với việc chạy nhiều ngày, ưu tiên mức cao.
Nếu không có máy ở Mỹ phù hợp, đổi số GPU, thử loại card còn lại, nới bộ lọc, thêm CA, hoặc tìm lại sau; tình trạng máy thay đổi trong ngày. Việc train hiếm khi quan tâm khoảng cách, nên xóa ô Country cũng là lựa chọn hợp lý.
Ghi lại mức giá hiển thị lúc triển khai. Giá này cố định cho instance, nên việc theo dõi chi phí rất đơn giản.
Trong khi chạy
Lưu checkpoint theo nhịp mà bạn chấp nhận mất. Hãy tự hỏi: nếu máy biến mất ngay bây giờ, mình chấp nhận chạy lại bao nhiêu phần? Hãy lưu ít nhất thường xuyên như vậy, kèm trạng thái optimizer nếu muốn chạy tiếp chính xác.
Chép checkpoint ra khỏi máy. Checkpoint nằm trên ổ đĩa instance sẽ mất cùng instance. Hãy kéo về nơi lưu trữ bạn kiểm soát, ví dụ một VPS, theo lịch:
while true; do
rsync -avP -e "ssh -p <port>" root@<host>:/workspace/checkpoints/ /backup/run-42/
sleep 3600
doneBài sao lưu dữ liệu máy chủ GPU nói kỹ hơn về nơi lưu và script.
Theo dõi log và mức sử dụng. Trang instance hiển thị trạng thái, mức sử dụng GPU và những dòng log cuối của container. Ngoài ra hãy ghi log huấn luyện ra file và đồng bộ cùng checkpoint để giữ toàn bộ lịch sử.
Theo dõi chi phí theo phút. Chi phí đến hiện tại bằng giá đã khóa nhân số phút chạy, cộng lưu trữ, cộng băng thông theo giá mỗi GB của máy. Mỗi ngày so số dư với con số ước tính một lần. Nếu chạy chậm hơn lần thử, hãy tìm nguyên nhân sớm: mức sử dụng GPU thấp thường là do khâu nạp dữ liệu.
Nhớ khoản đặt cọc. Khi triển khai, hệ thống giữ một khoản cọc (khoảng một giờ GPU, vài giờ lưu trữ và phần dự trữ băng thông). Hãy để đủ số dư cho cả lần chạy ngoài khoản này. Bạn ở Việt Nam nạp số dư bằng chuyển khoản ngân hàng bằng VND, nên tính trước thời gian chuyển khoản để không bị hụt tiền giữa chừng.
Khi máy chủ mất kết nối
Mỗi máy là máy chủ độc lập không có SLA phần cứng. Nếu máy chủ mất kết nối:
- việc tính tiền tạm dừng trong thời gian đó;
- instance không tự chuyển sang máy khác;
- công việc chỉ chạy tiếp nếu chính máy đó quay lại.
Phương án phục hồi của bạn là checkpoint gần nhất đã chép ra ngoài. Triển khai instance mới, chép checkpoint và dữ liệu sang, rồi chạy tiếp. Nếu lần chạy không chịu nổi độ trễ này, hãy chia thành các đoạn ngắn hơn, hoặc chạy trên hạ tầng có SLA theo hợp đồng.
Sau khi chạy xong
- Chép trọng số cuối, adapter, số liệu đánh giá và log ra khỏi máy.
- Kiểm tra bản sao (dung lượng, checksum, thử nạp nhanh).
- Destroy instance. Dừng máy vẫn tính tiền lưu trữ và đằng nào cũng nhả GPU, nên không có lý do giữ lại một máy train đã xong việc.
- So chi phí thực tế với ước tính để lần sau ước tính chuẩn hơn.
Nếu bạn chủ yếu train trên H100 ở Mỹ, bài thuê H100 tại Mỹ nói riêng về card này.
Câu hỏi thường gặp
Có gia hạn máy quá ngày "available until" được không?
Hãy lên kế hoạch như thể không thể gia hạn. Instance và ổ đĩa bị xóa vào ngày đó, nên hãy chạy xong và chép dữ liệu ra trước.
Máy chủ mất kết nối thì tiền tính thế nào?
Việc tính tiền tạm dừng trong thời gian máy mất kết nối. Instance không được chuyển sang máy khác.
Bao lâu nên lưu checkpoint một lần?
Thường xuyên bằng mức công việc bạn chấp nhận làm lại. Mỗi lần lưu, hãy chép checkpoint ra ngoài.
Chạy dài có giá theo tháng không?
Không. Instance GPU tính tiền theo phút với mức giá khóa lúc triển khai.
Lên kế hoạch cho lần chạy tới
Mở trang triển khai H100 SXM, nhập US và kiểm tra ngày available until trước khi quyết định. Giá "từ" theo thời gian thực của mọi card có trên GPU cloud.