Muốn thuê H100 châu Á, bạn nên tìm kỹ trước khi chấp nhận thuê ở châu lục khác. Các đội ở Nhật, Hàn, Singapore, Đài Loan, Ấn Độ và Việt Nam thường muốn H100 ở gần vì dữ liệu, độ trễ hoặc đơn giản là thuận tiện. Trên Cloudj, vị trí là bộ lọc quốc gia trên một danh sách máy host độc lập thay đổi liên tục, nên câu trả lời thật cho câu hỏi "châu Á có H100 không?" là: hãy tìm ngay và xem. Bài này đưa ra thứ tự tìm, giải thích vì sao card data center có thể khó tìm hơn ở vài nước, và giới thiệu một cách chia việc thường hiệu quả hơn ngồi chờ: huấn luyện ở bất cứ đâu có H100, phục vụ người dùng từ châu Á.
Hướng dẫn thuê GPU châu Á nói chung về các mã châu Á; bài này chỉ bàn về H100.
Nên tìm loại H100 nào
Có hai biến thể H100 đáng quan tâm:
- H100 SXM, 80 GB. Lựa chọn quen thuộc cho huấn luyện và phục vụ lưu lượng lớn, nhất là trong máy nhiều GPU.
- H100 NVL, 94 GB. Biến thể dạng PCIe, mỗi card nhiều bộ nhớ hơn một chút, hay dùng cho inference mô hình lớn.
Cả hai đều là GPU data center, cần cấp tài khoản cao hơn tài khoản mới. Nếu bạn thử triển khai quá sớm, console sẽ báo "This GPU class is not available at your account level"; hãy liên hệ hỗ trợ Cloudj từ console nếu cần. Việc này nên làm trước hạn chót, đừng để tới đúng ngày chạy.
Thứ tự tìm cho đội ngũ ở châu Á
Mở trang triển khai với H100 SXM và đi lần lượt theo danh sách sau. Dừng ở bước đầu tiên cho bạn một máy ưng ý.
- Mã nước bạn ở. Ví dụ
JP,KR,SG,TWhoặcIN. - Cả năm mã cùng lúc. Nhập
JP, KR, SG, TW, IN. Mỗi dòng vẫn ghi quốc gia. - Đổi biến thể. Lặp lại với H100 NVL.
- Nới bộ lọc. Hạ nhẹ độ tin cậy tối thiểu, tăng giá tối đa mỗi giờ, hoặc chọn số GPU khác dự kiến (1x thay vì 8x, hoặc ngược lại).
- Thêm mã lân cận.
HKvàAUlà lựa chọn hợp lý với nhiều đội châu Á. - Kiểm tra vào giờ khác. Tình trạng máy thay đổi trong ngày; máy data center có thể bị thuê theo từng đợt dài rồi mới trống lại.
Nếu bạn ở Việt Nam, có thể thêm VN, nhưng máy đặt tại Việt Nam không chắc có trong danh sách. SG và HK là các mã gần quen thuộc.
Vì sao GPU data center có thể khan hơn ở vài nước
Mỗi dòng là một host độc lập. Card data center như H100 nằm trong ít máy hơn card phổ thông, và ở một số nước chúng có thể được thuê liền nhiều tuần. Vì vậy tìm ở châu Á có thể ra danh sách trống, trong khi cùng lúc đó khu vực khác lại có vài dòng. Cloudj không công bố nước nào có H100, vì câu trả lời luôn thay đổi; lời khuyên là tìm nhiều lần và chuẩn bị sẵn phương án khác.
Phương án đó thường không phải "bỏ châu Á", mà là "chia việc".
Cách chia việc: huấn luyện ở nơi khác, phục vụ từ châu Á
Phần lớn công việc với H100 gồm hai phần có nhu cầu khác nhau.
| Phần việc | Cần H100? | Cần gần người dùng? |
|---|---|---|
| Huấn luyện hoặc fine-tune | Thường là có | Không |
| Chạy đánh giá, inference theo lô | Đôi khi | Không |
| Inference trực tiếp cho người dùng châu Á | Tùy mô hình | Có |
Vậy cách làm là: huấn luyện ở bất cứ đâu đang có H100, không cần quan tâm quốc gia, rồi chuyển trọng số thu được sang một GPU ở châu Á để phục vụ. GPU phục vụ có thể là model hoàn toàn khác nếu bản lượng tử hóa của mô hình vừa với nó. Bài thuê H100 tại Mỹ nói về phần huấn luyện trên máy ở Mỹ.
Chuyển trọng số chỉ là chép file. Từ instance huấn luyện, đẩy checkpoint sang kho lưu trữ bạn kiểm soát, hoặc thẳng sang instance phục vụ:
rsync -avP -e "ssh -p <port>" ./checkpoints/final/ root@<serving-host>:/workspace/model/Dùng host và cổng trong tab Connection của từng instance. Băng thông tính theo GB với giá niêm yết của mỗi máy, nên hãy nén khi có thể và đừng chuyển các checkpoint trung gian không cần thiết. Bài chuyển mô hình và dữ liệu giữa các khu vực GPU đi sâu vào bước này, kể cả cách tiếp tục khi truyền bị ngắt.
Phục vụ từ châu Á mà không cần H100
Khi huấn luyện xong, hãy tự hỏi phần phục vụ có thật sự cần H100 không. Nhiều mô hình sau khi lượng tử hóa chạy thoải mái trên card 48 GB, thậm chí card phổ thông 24 GB. Một máy A100 ở châu Á cũng là lựa chọn phục vụ tốt cho mô hình cần nhiều bộ nhớ hơn card phổ thông.
Đặt một VPS Singapore ổn định phía trước để giữ tên miền, TLS, xác thực và hàng đợi, rồi trỏ tới GPU đang phục vụ. Khi đổi GPU, endpoint công khai vẫn giữ nguyên. Với các nhóm AI ở Việt Nam, cách này còn giúp tách chi phí: phần VPS chạy đều đặn, phần GPU chỉ bật khi cần.
Kiểm tra trước một job H100 dài
- Thời hạn tối đa và ngày "available until". Tới ngày đó, instance và ổ đĩa bị xóa. Hãy chắc job cộng thêm phần dư vẫn nằm gọn trong khoảng đó.
- Dung lượng ổ đĩa. Không thể nới sau khi triển khai. Tính đủ cho dataset, checkpoint và log.
- Đưa checkpoint ra khỏi máy. Các máy là host độc lập, không có SLA phần cứng, và nếu host mất kết nối thì không tự chuyển máy. Hãy chép checkpoint ra ngoài thường xuyên.
- Tiền đặt cọc. Khi triển khai, một khoản cọc được giữ từ số dư tài khoản; phần chưa dùng trả lại sau khi bạn xóa instance, có thể mất tới 72 giờ để quyết toán băng thông. Hãy nạp tiền đủ dư trước khi chạy.
Câu hỏi thường gặp
Nhật Bản hiện có H100 không?
Hãy tìm với mã JP và chọn H100 để biết. Nếu có máy hiện ra thì bạn triển khai được; tình trạng thay đổi trong ngày.
Vì sao tôi không chọn được H100?
GPU data center cần cấp tài khoản cao hơn. Console sẽ hiện thông báo; bạn liên hệ hỗ trợ Cloudj từ đó.
Huấn luyện ở Mỹ rồi phục vụ ở châu Á có ổn không?
Có, với phần lớn các đội. Huấn luyện không nhạy với độ trễ. Hãy tính trước việc chuyển trọng số và đặt GPU phục vụ gần người dùng.
Xem giá H100 ở đâu?
Giá theo thời gian thực có trên trang H100 SXM, trang H100 NVL và GPU cloud.
Bước tiếp theo
Mở trang triển khai với H100 SXM, thử JP, KR, SG, TW, IN, rồi thử biến thể NVL. Nếu hôm nay chưa có máy phù hợp, hãy huấn luyện ở nơi đang có H100, chuyển trọng số về và phục vụ từ châu Á phía sau một VPS Singapore.